TEORIA DELL INFORMAZIONE ED ENTROPIA FEDERICO MARINI
|
|
- Letizia Abate
- 6 anni fa
- Visualizzazioni
Transcript
1 TEORIA DELL INFORMAZIONE ED ENTROPIA DI FEDERICO MARINI 1
2 OBIETTIVO DELLA TEORIA DELL INFORMAZIONE Dato un messaggio prodotto da una sorgente, l OBIETTIVO è capire come si deve rappresentare tale messaggio per ottenere una trasmissione efficiente ed affidabile dell informazione in essa contenuta su un canale di comunicazione reale. 2
3 Il primo passo da analizzare è definire il tipo di sorgente: SORGENTE DISCRETA E un tipo di sorgente che emette simboli che appartengono ad un alfabeto finito X = x1 x2 x ciascuno caratterizzato da una probabilità P i e autoinformazione. I i { },,..., M 3
4 Pertanto la teoria dell Informazione utilizza tre concetti base: Misura d informazione di una sorgente Capacità d informazione di un canale Codifica: mezzo per utilizzare la capacità di canale per trasferire informazione. 4
5 CODIFICA SORGENTE CANALE Governata dal I teorema di Shannon. Governata dal II teor. di Shannon 5
6 La misura dell informazione è legata all incertezza associata all emissione di ciascun simbolo x i. Pertanto l informazione associata ad un messaggio è legata alla sua probabilità. Shannon definisce la misura d informazione, la seguente quantità: Dove I i rappresenta l autoinformazione del messaggio e b è la base del logaritmo. Se b=2 l autoinformazione si misura in bit. 6
7 MISURA D INFORMAZIONE PROPRIETA per I i per P i I 0 P 1 i i Ii > I j per Pi < Pj I = log P x, x = log PP = log P log P = I + I ( ) ij b i j b i j b i b j i j
8 ENTROPIA DI UNA SORGENTE Tale quantità si definisce Entropia della sorgente e rappresenta l informazione media per simbolo che è data dalla media statistica delle autoinformazioni dei simboli della sorgente ( I1, I 2,..., I M ). Per M=2, l entropia vale: 8
9 ENTROPIA DI UNA SORGENTE M-ARIA P i Nel caso di sorgente M-aria, l entropia H(x) dipende dalla probabilità P i dei simboli emessi dalla sorgente e dalla dimensione M dell alfabeto con M numero di simboli. 9
10 ENTROPIA DI SORGENTE BINARIA Definite le due probabilità di emissione dei simboli 1P = p e P2 = 1 p : 10
11 TEOREMA DELLA CODIFICA DI SORGENTE Sorgente discreta senza memoria Codificatore binario r b R R = rh ( X ) R = r Ω( p) b 11
12 I TEOREMA DI SHANNON N N Con che rappresenta il valor medio delle lunghezze delle parole di codice che rappresentano i simboli emessi dalla sorgente e con H(X) l entropia di una sorgente discreta senza memoria. 12
13 EFFICIENZA DI UN CODICE η = ( ) H x N 1 Un codice per cui vale N = H ( x ) si dice assolutamente ottimo. Un codice per cui si ottiene il valore minimo possibile di N per una determinata sorgente si dice ottimo. Un codice con valore di N superiore a quello di un codice ottimo si dice sub-ottimo.
14 CODICE DI HUFFMAN E un esempio di codice ottimo, in quanto si riesce ad ottenere il minimo N possibile per una determinata sorgente (ma non necessariamente assolutamente ottimo η=1). 14
15 CODIFICA DI CANALE 1) L obiettivo consiste nell aumentare la resistenza di un sistema di telecomunicazione al rumore presente sul canale. 2) La codifica di canale trasforma la sequenza di dati in ingresso al canale in una nuova sequenza intrinsecamente più robusta agli effetti del rumore. 3) La decodifica di canale effettua l operazione inversa in uscita dal canale per ricostruire la sequenza originale. 15
16 Il canale è considerato come operatore stocastico che trasforma i simboli in ingresso in simboli in diversi in uscita in modo probabilistico. Il canale è descritto dalla matrice di canale i cui elementi sono le probabilità condizionate P( yn / xm ) : { } x1, x2,..., xm X = { } CANALE (RUMOROSO) y1, y2,..., yn = Y 16
17 EQUIVOCAZIONE DI CANALE H ( X / Y ) E log = X, Y 2 PX / Y ( x / y) L Equivocazione di Canale rappresenta l incertezza che rimane in media sul simbolo trasmesso, dopo l osservazione del simbolo ricevuto. INFORMAZIONE MUTUA ( ) ( ) ( ) I = X, Y = H X H X / Y L Informazione Mutua mi dice di quanto sia ridotta in media l incertezza sul simbolo emesso dalla sorgente una volta osservato il simbolo ricevuto. 17 1
18 CAPACITA DI CANALE PER SIMBOLO Cs E il tasso d informazione massimo consentito da un dato canale: Cs = I X Y bit simbolo max { P ( x i ) } (, ) [ / ] CAPACITA DI CANALE PER UNITA DI TEMPO C C = C S s Dove S mi indica la massima velocità dei simboli permessi dal canale. 18
19 CANALE DISCRETO SIMMETRICO Un canale discreto simmetrico è un canale in cui le probabilità di transizione sono tali per cui la probabilità di transire risulta uguale per tutti i simboli (quindi l entropia condizionata H ( Y / xi ) è indipendente dal simbolo ). x i 19
20 CAPACITA DI UN CANALE BINARIO SIMMETRICO ( ; ) = ( ) ( / ) = Ω ( α + 2α ) Ω( α ) I X Y H Y H Y X p p
21 Ponendo p=0.5, ottengo: s ( α 2α ) ( α ) 1 ( α ) C = Ω + p p Ω = Ω C s Quindi dipende dalla probabilità di transizione α: Per α = 0, C s = 1 e si ha un canale ideale (canale senza rumore). Per, C = e si ha un canale rumoroso. α s 21
22 II TEOREMA DI SHANNON (CODIFICA DI CANALE) Si suppone di avere una sorgente discreta senza memoria con alfabeto X, entropia H(X) e symbol rate r. L information rate vale R=rH(X) Si suppone di disporre un canale discreto senza memoria con capacità per unità di tempo pari a C [bit/sec]. 22
23 Se R C allora esiste un sistema di codifica tale da permettere la trasmissione dell informazione emessa dalla sorgente sul canale con una probabilità di errore arbitrariamente piccola. Se R > C non è possibile trasmettere l informazioni senza errori. 23
24 SORGENTE CONTINUA La sorgente può produrre un insieme di possibili segnali nel tempo x( t) che può essere visto come un processo aleatorio ergodico. La capacità del canale sarà espressa intermini di larghezza di banda e di rapporto segnale-rumore. Ad ogni istante di campionamento si ha una variabile aleatoria continua x descritta da una funzione di densità di probabilità px ( x). 24
25 ENTROPIA DI UNA SORGENTE CONTINUA 1 H ( X ) = p ( ) x x log2 dx p x ( ) CAPACITA DI UN CANALE CONTINUO max { P ( x) } x x ( ; ) [ / ] Cs = I X Y bit campione CAPACITA DI UN CANALE CONTINUO A BANDA LIMITATA C = 2B Cs 25
26 LEGGE DI HARTLEY-SHANNON S C = B log2 1 + bit / sec N [ ] La legge di Hartley-Shannon descrive la capacità di un canale continuo che introduce un rumore additivo Gaussiano Bianco con banda limitata. 26
Teoria dell informazione
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Teoria dell informazione A.A. 2008-09 Alberto Perotti DELEN-DAUIN Modello di sistema di comunicazione Il modello di
Dettagli1) Probabilità di errore di trasmissione. 2) Capacità di canale. 3) Esempi di calcolo della capacità. 4) Disuguaglianza di Fano
Argomenti della Lezione 1) Probabilità di errore di trasmissione ) Capacità di canale 3) Esempi di calcolo della capacità 4) Disuguaglianza di Fano 5) Teorema inverso della codifica di canale 1 Probabilità
Dettagli..., x M. : codice o sequenza di bit che rappresentano il messaggio x i ; n i : lunghezza in bit del codice C X i
Definizioni X : sorgente di informazione discreta; X k : messaggi prodotti da X ; ogni messaggio è una v.c.d., k è l'indice temporale; alfabeto di X : insieme {x,..., x } degli messaggi che la sorgente
DettagliSTII/Teoria dell Informazione
STII/Teoria dell Informazione Docente: Prof. Luisa Gargano Classe: Matricole Pari Testo principale: T. Cover, J. Thomas, Elements of Information Theory, Wiley. p./28 Un pò di storia La Teoria dell informazione
Dettagli3. TEORIA DELL INFORMAZIONE
3. TEORIA DELL INFORMAZIONE INTRODUZIONE MISURA DI INFORMAZIONE SORGENTE DISCRETA SENZA MEMORIA ENTROPIA DI UNA SORGENTE NUMERICA CODIFICA DI SORGENTE 1 TEOREMA DI SHANNON CODICI UNIVOCAMENTE DECIFRABILI
DettagliRoberto Maieli La trasmissione dell informazione
Roberto Maieli La trasmissione dell informazione Corso di AIC Sistema di comunicazione Sorgente messaggio Sistema di trasmissione Trasmettitore Canale di trasmissione segnale Ricevitore rumore messaggio
Dettagli1) Entropia di variabili aleatorie continue. 2) Esempi di variabili aleatorie continue. 3) Canali di comunicazione continui. 4) Canale Gaussiano
Argomenti della Lezione 1) Entropia di variabili aleatorie continue ) Esempi di variabili aleatorie continue 3) Canali di comunicazione continui 4) Canale Gaussiano 5) Limite di Shannon 1 Entropia di una
DettagliComunicazioni Elettriche Esercizi
Comunicazioni Elettriche Esercizi Alberto Perotti 9 giugno 008 Esercizio 1 Un processo casuale Gaussiano caratterizzato dai parametri (µ = 0, σ = 0.5) ha spettro nullo al di fuori dellintervallo f [1.5kHz,
Dettagli2) Codici univocamente decifrabili e codici a prefisso.
Argomenti della Lezione ) Codici di sorgente 2) Codici univocamente decifrabili e codici a prefisso. 3) Disuguaglianza di Kraft 4) Primo Teorema di Shannon 5) Codifica di Huffman Codifica di sorgente Il
DettagliInformatica. Caratterizzazione del canale I simboli emessi dalla sorgente passano attraverso un canale di trasmissione.
Informatica Pietro Storniolo storniolo@csai.unipa.it http://www.pa.icar.cnr.it/storniolo/info267 Entropia e flusso di informazione di una sorgente La sorgente viene caratterizzata dal valor medio di I(x
DettagliLa teoria dell informazione
La teoria dell informazione Perché la teoria dell informazione è importante per la linguistica computazionale 2005 Isabella Chiari 1 Informatica Informazione+automatica = informatica Trattamento automatico
DettagliCANALE STAZIONARIO CANALE TEMPO INVARIANTE
CANALE STAZIONARIO Si parla di un Canale Stazionario quando i fenomeni che avvengono possono essere modellati da processi casuali e le proprietà statistiche di tali processi sono indipendenti dal tempo.
DettagliL informazione numerica
L informazione numerica Sorgenti di informazione Abbiamo esaminato delle sorgenti di informazione analogiche (audio, video). Abbiamo visto come trasmetterle a distanza per mezzo di sistemi analogici. Come
DettagliCorso di Fondamenti di Telecomunicazioni
Corso di Fondamenti di Telecomunicazioni 1 - INTRODUZIONE Prof. Giovanni Schembra 1 Argomenti della lezione Definizioni: Sorgente di informazione Sistema di comunicazione Segnali trasmissivi determinati
DettagliModulazione PAM Multilivello, BPSK e QPSK
Modulazione PAM Multilivello, BPSK e QPSK P. Lombardo DIET, Univ. di Roma La Sapienza Modulazioni PAM Multilivello, BPSK e QPSK - 1 Rappresentazione analitica del segnale Sia {b(n)} una qualsiasi sequenza
DettagliCapitolo 5 La trasmissione dell informazione
Capitolo 5 La trasmissione dell informazione Sistema di comunicazione Sorgente messaggio Sistema di trasmissione Trasmettitore Canale di trasmissione segnale Ricevitore rumore messaggio Destinazione Caratterizzazione
DettagliSorgenti discrete e informazione
Sorgenti discrete e informazione La definizione formale della quantità di informazione è dovuta a Shannon Nella sua teoria si fa riferimento ad una sorgente di messaggi connessa tramite un canale a un
DettagliCapitolo 7 Strato Fisico- Codici correttori d errore e capacità di canale
Capitolo 7 Strato Fisico- Codici correttori d errore e capacità di canale 1 Obiettivi: Codici correttori d errore correggere o rivelare errori nella trasmissione di segnali numerici (sequenze di simboli,
DettagliDef. La lunghezza media L(C) di un codice C per una v.c. Obiettivo: Codice ottimo rispetto alla lunghezza media. Lunghezza media di un codice
Lunghezza media di un codice Def. La lunghezza media L(C) di un codice C per una v.c. X con d.d.p. P(x) è data da L(C) = x X p (x) l (x) = E[l(X)] Obiettivo: Codice ottimo rispetto alla lunghezza media
Dettagli9. Sistemi di Modulazione Numerica in banda traslata. Modulo TLC:TRASMISSIONI Modulazione numerica in banda traslata
1 9. Sistemi di Modulazione Numerica in banda traslata Modulazione QAM (analogica) 2 Modulazione QAM (Quadrature Amplitude Modulation; modulazione di ampiezza con portanti in quadratura) è un tipo di modulazione
DettagliCorso di Fondamenti di Telecomunicazioni 1 - INTRODUZIONE
Corso di Fondamenti di Telecomunicazioni 1 - INTRODUZIONE 1 Argomenti della lezione Definizioni: Sorgente di informazione Sistema di comunicazione Segnali trasmissivi determinati e aleatori Architettura
DettagliLunghezza media. Teorema Codice D-ario prefisso per v.c. X soddisfa. L H D (X). Uguaglianza vale sse D l i. = p i. . p.1/27
Lunghezza media Teorema Codice D-ario prefisso per v.c. X soddisfa L H D (X). Uguaglianza vale sse D l i = p i.. p.1/27 Lunghezza media Teorema Codice D-ario prefisso per v.c. X soddisfa L H D (X). Uguaglianza
DettagliFondamenti di Telecomunicazioni Esercizi svolti e da svolgere. 1) A quanto corrisponde su base decimale un guadagno di 31 db? (Risp: = )
Fondamenti di Telecomunicazioni Esercizi svolti e da svolgere A quanto corrisponde su base decimale un guadagno di 3 db? (Risp: = 259 25 2 A quanti watt corrisponde una potenza di - 25 db m? (Risp: 3,25-6
DettagliCODIFICA CANALE. Comunicazione con successo: ricevitore ottiene output sorgente. Rumore. Sorgente Cofificatore Canale. Decodificatore.
CODIFICA CANALE Sorgente Cofificatore Canale Decodificatore Ricevitore Rumore Comunicazione con successo: ricevitore ottiene output sorgente. p.1/24 CODIFICA CANALE Sorgente Cofificatore Canale Decodificatore
Dettagli01CXGBN Trasmissione numerica. parte 6: calcolo delle probabilità I
01CXGBN Trasmissione numerica parte 6: calcolo delle probabilità I 1 Probabilità di errore BER e SER Per rappresentare la bontà di un sistema di trasmissione numerica in termini di probabilità di errore
Dettagli10.. Codici correttori d errore. Modulo TLC:TRASMISSIONI Codici correttori d errore
10.. Codici correttori d errore Codici correttori d errore 2 Obiettivi: correggere o rivelare errori nella trasmissione di sequenze numeriche (sequenze di simboli, usualmente binari) Correzione di errore
DettagliDipartimento di Ingegneria dell Informazione, Elettronica e Telecomunicazioni. Esercitazioni del corso di. Telecomunicazioni
Dipartimento di Ingegneria dell Informazione, Elettronica e Telecomunicazioni Esercitazioni del corso di Telecomunicazioni Corso di laurea in Ingegneria Gestionale Anno Accademico 2013-2014 Ing. Alfonso
DettagliConversione Analogico/Digitale
Conversione Analogico/Digitale 1 Fondamenti di Segnali e Trasmissione Conversione analogico/digitale (A/D) Per rappresentare numericamente un segnale continuo nel tempo e nelle ampiezze è necessario: Campionare
DettagliLa codifica di sorgente
Tecn_prog_sist_inform Gerboni Roberta è la rappresentazione efficiente dei dati generati da una sorgente discreta al fine poi di trasmetterli su di un opportuno canale privo di rumore. La codifica di canale
DettagliQUANTIZZAZIONE E CONVERSIONE IN FORMA NUMERICA. 1 Fondamenti Segnali e Trasmissione
UANTIZZAZIONE E CONVERSIONE IN FORMA NUMERICA Fondamenti Segnali e Trasmissione Campionamento e quantizzazione di un segnale analogico Si consideri il segnale x(t) campionato con passo T c. Campioni del
DettagliUlteriori Conoscenze di Informatica e Statistica
ndici di forma Ulteriori Conoscenze di nformatica e Statistica Descrivono le asimmetrie della distribuzione Carlo Meneghini Dip. di fisica via della Vasca Navale 84, st. 83 ( piano) tel.: 06 55 17 72 17
DettagliSoluzioni di Esercizi di Esame di Segnali Aleatori per Telecomunicazioni
Corso di Laurea in Ingegneria Informatica corso di Telecomunicazioni (Prof. G. Giunta) (editing a cura dell ing. F. Benedetto) Soluzioni di Esercizi di Esame di Segnali Aleatori per Telecomunicazioni Esame
DettagliCorso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche. Modulazione A.A Alberto Perotti
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Modulazione A.A. 8-9 Alberto Perotti DELEN-DAUIN Modello di sistema di comunicazione Il modello di sistema di comunicazione
Dettagli1 Esercizio - caso particolare di ottimalità
Corso: Gestione ed elaborazione grandi moli di dati Lezione del: 5 giugno 2006 Argomento: Compressione aritmetica e Tecniche di compressione basate su dizionario Scribes: Andrea Baldan, Michele Ruvoletto
DettagliTeoria dell Informazione
Corso di Laurea Magistrale in Scienze dell Informazione Editoriale, Pubblica e Sociale Teoria dell Informazione Cosa è l informazione L informazione è qualcosa che si possiede e si può dare ad un altro
DettagliRipasso segnali e processi casuali. Trasmissione dell Informazione
Ripasso segnali e processi casuali 1 Breve ripasso di segnali e trasformate Dato un segnale s(t), la sua densità spettrale si calcola come dove S(f) è la trasformata di Fourier. L energia di un segnale
DettagliE03 ESERCIZI SU LIVELLO FISICO
E03 ESERCIZI SU LIVELLO FISICO Esercizio 1 Un semaforo è una sorgente di informazione a) analogica. b) numerica, con alfabeto di quattro simboli (verde, rosso, giallo, lampeggiante). c) la cui natura dipende
DettagliCodifica delle sequenze sorgente
Codifica delle sequenze sorgente Sorgente emette sequenza di simboli appartenenti ad un alfabeto X che vengono codificati come sequenze di simboli di un alfabeto D-ario.. p.1/?? Codifica delle sequenze
DettagliTeoria dei Segnali Un esempio di processo stocastico: il rumore termico
Teoria dei Segnali Un esempio di processo stocastico: il rumore termico Valentino Liberali Dipartimento di Fisica Università degli Studi di Milano valentino.liberali@unimi.it Teoria dei Segnali Il rumore
Dettagli6. Trasmissione Numerica in Banda Base
1 INFO-COM Dpt. Dipartimento di Scienza e Tecnica dell Informazione e della Comunicazione Università degli Studi di Roma La Sapienza 6. Trasmissione Numerica in Banda Base TELECOMUNICAZIONI per Ingegneria
DettagliFondamenti di Informatica. Cosa è l informazione. A cosa serve. Prof.V.L.Plantamura Informatica e Comunicazione Digitale a.a.
Fondaenti di Inforatica Prof.V.L.Plantaura Inforatica e Counicazione Digitale a.a. 2005-2006 Cosa è l inforazione L inforazione è qualcosa che si possiede e si può dare ad un altro senza perderne il possesso.
DettagliEntropia. Motivazione. ? Quant è l informazione portata dalla sequenza? Abbiamo una sequenza S di N simboli (campioni audio, pixel, caratteri,...
Entropia Motivazione Abbiamo una sequenza S di N simboli (campioni audio, pixel, caratteri,... ) s,s 2,s 3,... ognuno dei quali appartiene ad un alfabeto A di M elementi.? Quant è l informazione portata
DettagliIntroduzione alla scienza della comunicazione (E. T. Jaynes)
Introduzione alla scienza della comunicazione (E T Jaynes) S Bonaccorsi Department of Mathematics University of Trento Corso di Mathematical model for the Physical, Natural and Social Sciences Outline
DettagliInformazione e comunicazione per la sicurezza Esercizi tipo Telecomunicazioni
Informazione e comunicazione per la sicurezza Esercizi tipo Telecomunicazioni 1) Dato un canale trasmissivo la cui banda sia da 3 a 4 MHz, ed il cui rapporto segnale - rumore sia 24 db, calcolare la massima
DettagliCompressione Dati. Teorema codifica sorgente: Entropia fornisce un limite sia inferiore che superiore al numero di bit per simbolo sorgente.. p.
Compressione Dati Teorema codifica sorgente: Entropia fornisce un limite sia inferiore che superiore al numero di bit per simbolo sorgente.. p.1/21 Compressione Dati Teorema codifica sorgente: Entropia
DettagliCodifica sorgente e canale
Codifica sorgente e canale Codifica sorgente Codifica canale in Canale Compressione Codifica Decodifica Decompress. Rumoroso out Codifica sorgente: comprimere i dati per rimuovere ridondanza Codifica canale:
DettagliUnità 30. Sommario. Bibliografia. Auto-informazione di un evento Auto-informazione di un esperimento aleatorio Esempi. [Bel] -- [Ros] 9.
Unità 30 Sommario Auto-informazione di un evento Auto-informazione di un esperimento aleatorio Esempi Bibliografia [Bel] -- [Ros] 9.3 [Pap] -- 1 Auto-informazione di un evento Prima di effettuare un esperimento
Dettagli01CXGBN Trasmissione numerica. parte 11: modulazione 2-PAM
0CXGBN Trasmissione numerica parte : modulazione 2-PAM PARTE 2: Modulazioni Numeriche 2 Modulazioni: introduzione Per ogni modulazione considereremo: Caratteristiche generali Costellazione (insieme di
DettagliLa modulazione numerica
La modulazione numerica Mauro Giaconi 26/05/2009 trasmissione numerica 1 Principi di modulazione numerica 26/05/2009 trasmissione numerica 2 Modulazione numerica La modulazione trasla l informazione di
DettagliIl tema proposto può essere risolto seguendo due ipotesi:
Per la trattazione delle tecniche TDM, PM e Trasmissione dati si rimanda alle schede 41, 42, 43, 44, 45, 46, 47 e 48 del libro Le Telecomunicazioni del Prof. F. Dell Aquila. Il tema proposto può essere
DettagliCODIFICA DI SORGENTE. Schematizzazione generale sistema di comunicazione
CODIFICA DI SORGENTE Informazione associata a sorgenti digitali, entropia Codifica di sorgenti senza memoria Codifica di sorgenti con memoria CODIFICA DI SORGENTE Schematizzazione generale sistema di comunicazione
DettagliTEORIA DEI SISTEMI E DEL CONTROLLO LM in Ingegneria Informatica e Ingegneria Elettronica
TEORIA DEI SISTEMI E DEL CONTROLLO LM in Ingegneria Informatica e Ingegneria Elettronica http://www.dii.unimore.it/~lbiagiotti/teoriasistemicontrollo.html Stima dello stato in presenza di disturbi: il
DettagliQUANTIZZAZIONE E CONVERSIONE IN FORMA NUMERICA
QUANTIZZAZIONE E CONVERSIONE IN FORMA NUMERICA 1 Fondamenti di segnali Fondamenti e trasmissione TLC Campionamento e quantizzazione di un segnale analogico Si consideri il segnale x(t) campionato con passo
DettagliTeoria dei Segnali Quantizzazione dei segnali; trasformata zeta
Teoria dei Segnali Quantizzazione dei segnali; trasformata zeta Valentino Liberali Dipartimento di Fisica Università degli Studi di Milano valentino.liberali@unimi.it Teoria dei Segnali Quantizzazione;
DettagliCampionamento e quantizzazione
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Campionamento e quantizzazione A.A. 2008-09 Alberto Perotti DELEN-DAUIN Conversione analogico-digitale L elaborazione
DettagliCodifiche a lunghezza variabile
Sistemi Multimediali Codifiche a lunghezza variabile Marco Gribaudo marcog@di.unito.it, gribaudo@elet.polimi.it Assegnazione del codice Come visto in precedenza, per poter memorizzare o trasmettere un
DettagliParte Terza: Codificare l informazione. Fondamenti di informatica
Parte Terza: Codificare l informazione Fondamenti di informatica Informatica e telecomunicazione Cos è l informatica? Lo studio sistematico degli algoritmi che descrivono e trasformano l informazione:
DettagliTeoria dei Segnali Trasmissione binaria casuale; somma di processi stocastici
eoria dei Segnali rasmissione binaria casuale; somma di processi stocastici Valentino Liberali Dipartimento di Fisica Università degli Studi di Milano valentino.liberali@unimi.it eoria dei Segnali rasmissione
DettagliCompromesso efficienza spettrale-efficienza in potenza. Docente: Dott.ssa. Ernestina Cianca a.a
Compromesso efficienza spettrale-efficienza in potenza Docente: Dott.ssa. Ernestina Cianca a.a. 2014-2015 1 Compromesso efficienza spettrale-efficienza in potenza Con il fine di ridurre il consumo energetico
DettagliCENNI SULLE VARIABILI ALEATORIE INTRODUZIONE ALLA TEORIA DELLE PROBABILITÀ APPROFONDIMENTO SULLA TEORIA DELLE PROBABILITÀ
CENNI SULLE VARIABILI ALEATORIE... 1 INTRODUZIONE ALLA TEORIA DELLE PROBABILITÀ... APPROFONDIMENTO SULLA TEORIA DELLE PROBABILITÀ... 3.1 Teorema della probabilità dell evento complementare... 3. Teorema
DettagliQUANTIZZAZIONE Conversione analogico/digitale
QUANTIZZAZIONE Conversione analogico/digitale 1 QUANTIZZAZIONE Campionamento e uantizzazione Campione del segnale Segnale originale (continuo nel tempo e nelle ampiezze) QUANTIZZAZIONE Conversione analogico/digitale
DettagliLezione 4 Ugo Vaccaro
Teoria dell Informazione II Anno Accademico 205 206 Lezione 4 Ugo Vaccaro Il risultato principale che abbiamo scoperto nella lezione scorsa è il seguente: data una sorgente DSSM X, X 2,..., X i,... con
DettagliCodifica di sorgente. esempio di sorgente con memoria
Codifica di sorgente esercitazione su sorgenti markoviane 1 esempio di sorgente con memoria Esempio di sorgente con memoria markoviana a due stati NB: per la simmetria del sistema, i simboli sono equiprobabili
DettagliLa Rappresentazione dell Informazione
La Rappresentazione dell Informazione Parte III I codici Codici a.a. 27-28 Un codice è una funzione che associa ad una sequenza di simboli un significato Codice : {entità} {sequenze di simboli} Un codice
DettagliCodifica di canale. (dalle dispense e dalle fotocopie) Trasmissione dell Informazione
Codifica di canale (dalle dispense e dalle fotocopie) Codici lineari a blocchi Un codice lineare (n,k) è un codice che assegna una parola lunga n ad ogni blocco lungo k. Si dice che il codice abbia un
DettagliNote sulle Catene di Markov
Note sulle Catene di Markov ELAUT Prof. Giuseppe C. Calafiore Sommario Queste note contengono un estratto schematico ridotto di parte del materiale relativo alle Catene di Markov a tempo continuo e a tempo
Dettagli8. Sistemi di Modulazione Numerica in banda-base. Modulo TLC:TRASMISSIONI Modulazione numerica in banda base
1 8. Sistemi di Modulazione Numerica in banda-base Modulazione e Demodulazione numerica 2 sequenza numerica segnale analogico...0010111001... modulatore numerico x(t) sequenza numerica...0010011001...
DettagliCorso di Laurea in Ingegneria Biomedica Corso di Trasmissione Numerica (6 crediti) Prova scritta 16.02.2006
Prova scritta 16.02.2006 D. 1 Si derivi l espressione dei legami ingresso-uscita, nel dominio del tempo per le funzioni di correlazione nel caso di sistemi LTI e di segnali d ingresso SSL. Si utilizzi
DettagliVariabili casuali multidimensionali
Capitolo 1 Variabili casuali multidimensionali Definizione 1.1 Le variabili casuali multidimensionali sono k-ple ordinate di variabili casuali unidimensionali definite sullo stesso spazio di probabilità.
DettagliCAMPIONAMENTO E RICOSTRUZIONE. Y(f) Y(f-15) Y(f+15) f[hz] Yc(f) Y(f) Y(f-17.5) Y(f+17.5) Yc(f) Esercizio 1
CAMPIONAMENTO E RICOSTRUZIONE Esercizio 1 Dato il segnale y(t), con trasformata di Fourier Y(f) rappresentata in figura, rappresentare lo spettro del segnale ottenuto campionando idealmente y(t) con a)
DettagliTeoria dell Informazione e Crittografia
Teoria dell Informazione e Crittografia di Francesco Napoli Claude Shannon C. Shannon è considerato "il padre della teoria dell'informazione. A Mathematical Theory of Communication (1948 Communication
DettagliReti di Calcolatori a.a
Analogico e digitale 2 Corso di laurea in Informatica Reti di Calcolatori a.a. 2007-2008 Prof. Roberto De Prisco Capitolo 3 Dati e segnali Per essere trasmessi i dati devono essere trasformati in segnali
DettagliIntroduzione alla codifica entropica
Compressione senza perdite Il problema Introduzione alla codifica entropica Abbiamo un alfabeto di simboli A (nota: non è detto che gli elementi di A siano numeri) Sappiamo che il simbolo a A si presenta
DettagliProcessi di Markov. Processi di Markov
Processi Stocastici Processi Stocastici Processi Stocastici Catene o Catene o Catene di M Processi Stocastici Processi Stocastici Processi Stocastici Catene o Catene o Catene di M Processi Stocastici Un
DettagliRETI DI TELECOMUNICAZIONE
RETI DI TELECOMUNICAZIONE Modelli delle Sorgenti di Traffico Generalità Per la realizzazione di un modello analitico di un sistema di telecomunicazione dobbiamo tenere in considerazione 3 distinte sezioni
Dettagliun elemento scelto a caso dello spazio degli esiti di un fenomeno aleatorio;
TEST DI AUTOVALUTAZIONE - SETTIMANA 3 I diritti d autore sono riservati. Ogni sfruttamento commerciale non autorizzato sarà perseguito. Metodi statistici per la biologia 1 Parte A 1.1 Una variabile casuale
DettagliMacchine a stati finiti. Sommario. Sommario. M. Favalli. 5th June 2007
Sommario Macchine a stati finiti M. Favalli 5th June 27 4 Sommario () 5th June 27 / 35 () 5th June 27 2 / 35 4 Le macchine a stati si utilizzano per modellare di sistemi fisici caratterizzabili mediante:
DettagliLE VARIABILI CASUALI A 1, A 2.,..., A k., p 2.,..., p k. generati da una specifica prova sono necessari ed incompatibili:
LE VARIABILI CASUALI Introduzione Data prova, ad essa risultano associati i k eventi A, A,..., A k con le relative probabilità p, p,..., p k. I k eventi A i generati da una specifica prova sono necessari
DettagliCorso di Fondamenti di Telecomunicazioni
Corso di Fondamenti di Telecomunicazioni Prof. Mario Barbera [parte ] Variabili aleatorie Esempio: sia dato l esperimento: Scegliere un qualunque giorno non festivo della settimana, per verificare casualmente
DettagliSistemi di Elaborazione delle Informazioni 6 CFU
Università degli Studi di Palermo Dipartimento dell Innovazione Industriale e Digitale Sistemi di Elaborazione delle Informazioni 6 CFU Anno Accademico 2016/2017 Docente: ing. Salvatore Sorce Rappresentazione
DettagliIndice. A Riassunto formule principali sulla Teoria dell Informazione per sorgenti135
Indice 8 Teoria dell Informazione per sorgenti 123 8.1 Introduzione.................................... 123 8.2 Codifica di sorgente............................... 123 8.2.1 Classificazione tecniche di
DettagliMacchine a stati finiti. Sommario. Sommario. M. Favalli. Le macchine a stati si utilizzano per modellare di sistemi fisici caratterizzabili mediante:
Sommario Macchine a stati finiti M. Favalli Engineering Department in Ferrara 4 Sommario (ENDIF) Analisiesintesideicircuitidigitali / 35 (ENDIF) Analisiesintesideicircuitidigitali 2 / 35 4 Le macchine
DettagliProbabilità e Statistica Esercizi
Corso di PIANIFICAZIONE DEI TRASPORTI 1 ing. Antonio Comi Marzo 2006 Probabilità e Statistica Esercizi 1 Variabile aleatoria X(E): funzione che associa ad un evento E dello spazio delle prove un numero
DettagliAlcune v.a. discrete notevoli
Alcune v.a. discrete notevoli Variabile aleatoria Bernoulliana Il risultato X di un esperimento aleatorio può essere classificato nel modo che segue: successo oppure insuccesso. Indichiamo: Successo =
DettagliSistemi di Elaborazione delle Informazioni 6 CFU
Università degli Studi di Palermo Dipartimento di Ingegneria Chimica, Gestionale, Informatica, Meccanica Sistemi di Elaborazione delle Informazioni 6 CFU Anno Accademico 2015/2016 Docente: ing. Salvatore
DettagliDISTRIBUZIONI DI PROBABILITA
DISTRIBUZIONI DI PROBABILITA La distribuzione di probabilità e un modello matematico, uno schema di riferimento, che ha caratteristiche note e che può essere utilizzato per rispondere a delle domande derivate
DettagliTipi di variabili. Indici di tendenza centrale e di dispersione
Tipi di variabili. Indici di tendenza centrale e di dispersione L. Boni Variabile casuale In teoria della probabilità, una variabile casuale (o variabile aleatoria o variabile stocastica o random variable)
DettagliCapitolo 5 La trasmissione dell informazione
Capitolo 5 La trasmissione dell informazione Sistema di comunicazione Sorgente messaggio Sistema di trasmissione Trasmettitore Canale di trasmissione segnale Ricevitore rumore messaggio Destinazione Caratterizzazione
DettagliProgrammazione Lineare Intera
Programmazione Lineare Intera Andrea Scozzari a.a. 2012-2013 May 10, 2013 Andrea Scozzari (a.a. 2012-2013) Programmazione Lineare Intera May 10, 2013 1 / 16 Programmazione Lineare Intera: Metodo dei Piani
Dettaglidi Napoli Prof. Antonio Fratini
Sistemi i di Elaborazione delle Informazioni i Univ. degli studi Federico II di Napoli Prof. Antonio Fratini Analogico vs Digitale Un esempio segnale + rumore segnale analogico Amplificatore segnale digitale
DettagliRETI DI TELECOMUNICAZIONE
RETI DI TELECOMUNICAZIONE EFFICIENZA DI UNA LINEA PRESTAZIONI DI UNA RETE DATI CAPACITA (C) Quantità massima di dati (espressi in bit/s) che possono essere inviati sulla linea THROUGHPUT (S) Totale di
DettagliRETI DI TELECOMUNICAZIONE
RETI DI TELECOMUNICAZIONE CATENE DI MARKOV TEMPO CONTINUE Definizioni Sia dato un processo stocastico x(t) che può assumere valori discreti appartenenti ad un insieme se accade che il processo è una catena
DettagliQuesta viene trasmessa sul canale (wireless o wired). In questo corso, modellizzeremo il canale di trasmissione come un canale Gaussiano bianco
Canale di trasmissione Dati una costellazione M un labeling binario e è possibile associare alle sequenze binarie di informazione u da trasmettere una forma d onda s(t). Questa viene trasmessa sul canale
DettagliUNIVERSITA DEGLI STUDI DI BRESCIA-FACOLTA DI MEDICINA E CHIRURGIA CORSO DI LAUREA IN INFERMIERISTICA SEDE DI DESENZANO dg STATISTICA MEDICA.
Lezione 4 DISTRIBUZIONE DI FREQUENZA 1 DISTRIBUZIONE DI PROBABILITA Una variabile i cui differenti valori seguono una distribuzione di probabilità si chiama variabile aleatoria. Es:il numero di figli maschi
DettagliTeoria dei Fenomeni Aleatori AA 2012/13
Simulazione al Calcolatore La simulazione al calcolatore (computer simulation), (nel caso qui considerato simulazione stocastica) si basa sulla generazione, mediante calcolatore, di sequenze di numeri
Dettagli()Probablità, Statistica e Processi Stocastici
Probablità, Statistica e Processi Stocastici Serie storiche (verso fpca) La tecnica chiamata fpca (functional PCA) esamina serie storiche utilizzando paradigmi propri di PCA. E utile premettere un po di
Dettagli1 Entropia: Riepilogo
Corso: Gestione ed elaborazione grandi moli di dati Lezione del: 30 maggio 2006 Argomento: Entropia. Costruzione del modello di una sorgente. Codifica di Huffman. Scribes: Galato Filippo, Pesce Daniele,
DettagliEsempio (Azzalini, pp. 6-15)
Inferenza statistica procedimento per indurre le caratteristiche non note di un aggregato a partire dalle informazioni disponibili su una parte di esso. Obiettivo del corso presentare la teoria ed i metodi
DettagliLa Rappresentazione Dell Informazione
La Rappresentazione Dell Informazione Parte III I codici I Codici Un codice è una funzione che associa ad una sequenza di simboli un significato Un codice serve a: Permettere l elaborazione e la memorizzazione
Dettagli