STII/Teoria dell Informazione
|
|
- Giulio Brunelli
- 7 anni fa
- Visualizzazioni
Transcript
1 STII/Teoria dell Informazione Docente: Prof. Luisa Gargano Classe: Matricole Pari Testo principale: T. Cover, J. Thomas, Elements of Information Theory, Wiley. p./28
2 Un pò di storia La Teoria dell informazione (T.I. nasce negli anni 40, nell ambito della Teoria delle Comunicazioni. Un semplice modello di un sistema di comunicazione:. p.2/28
3 Sorgente: qualsiasi dispositivo che emette simboli (per una destinazione. Codificatore: codifica i simboli emessi dalla sorgente in modo che possano essere trasmessi sul canale. Canale: veicolo di trasmissione dell informazione. Rumore può interferire con la trasmissione attraverso il canale Decodificatore: decodifica i simboli provenienti dal canale in simboli destinazione. Destinatario: dispositivo che riceve i simboli della sorgente.. p.3/28
4 Teoria dell Informazione Domanda (Anni 40: Aumentando il tasso di trasmissione dell informazione sul canale si aumenta la probabilitá di errore? Es. inviando file compresso invece del file originario? Shannon: NO, se tasso di trasmissione < capacitá del canale. p.4/28
5 Applicazioni Comunicazione: Compressione dati, trasmissione su canali rumorosi Informatica: Complessitá Fisica: Termodinamica Matematica: Calcolo delle probabilitá e Statistica Economia: Investimanti in Borsa. p.5/28
6 Entropia X=v.c. discreta con alfabeto X e funzione massa di probabilitá p(x = P r{x = x}, x X. [X emissione simbolo sorgente] Entropia: misura l incertezza sull esito di una variabile casuale X H(X = x X p(x log p(x bits. p.6/28
7 Entropia Es. Lancio ( moneta (M, ( moneta truccata ( (MT, dado (D t c t c... 6 M =, MT = 3, D = H(X = x X p(x log p(x = x X H(M = 2 2 log 2 = 2 2 = H(MT = 4 log log 4 3 = log log 3 < H(D = 6 6 log 6 = + log 3 H(MT < H(M < H(D p(x log p(x bits. p.7/28
8 Entropia Nota: Si assume 0 log 0 = 0 (poiché lim x 0 x log x = 0 Aggiungere eventi con prob. nulla non cambia l incertezza Nota: H(X dipende solo dalla d.p. p di X, NON da alfabeto X (H(X = H(p Nota: H(X = E [ ] log p(x. p.8/28
9 Proprietà dell entropia Lemma. H(X 0; uguaglianza sse x X t.c. p(x =. Dim. 0 p(x log p(x 0 x Esiste x X con 0 < p(x < sse H(x > 0 p(x log p(x 0. p.9/28
10 Proprietà dell entropia Se si cambia la base del logaritmo, il valore dell entropia cambia solo di un fattore costante Lemma H b (X = H(X lg b Dim. H b (X = x X = lg b p(x lg b p(x = x X x X p(x lg p(x = H (X lg b p(x lg p(x lg b. p.0/28
11 Entropia Binaria X = ( a p b p H(X = p lg p + ( p lg ( p def = h(p h (p = lg p p. p./28
12 Entropia: altra interpretazione Supponiamo di voler indovinare il valore della v.c. ( a b c d X =. /2 /4 /8 /8 con domande del tipo È X uguale a x?. Quante domande dobbiamo porre in media?. p.2/28
13 Costruiamo ( un albero di decisione per a b c d X =. /2 /4 /8 /8. p.3/28
14 Minimo numero atteso di domande n(x = numero di domande nel caso in cui X = x. In media il numero di domande è : x X n(xp(x = = 7 4 = H (X In generale il minimo numero atteso di domande è tra H(X e H(X +. p.4/28
15 Codifica di una v.c. Esempio Una persona assiste ad una corsa di cavalli a cui partecipano 8 cavalli tutti ugualmente favoriti. Quanti bit servono per indicare il vincitore?. p.5/28
16 Codifica di una v.c. equiprobabile Esempio Una persona assiste ad una corsa di cavalli a cui partecipano 8 cavalli tutti ugualmente favoriti. Quanti bit servono per indicare il vincitore? 3 Calcoliamo l entropia di X : ( X = H (X = 8 8 lg 8 = lg 8 = 3. p.6/28
17 Codifica di una v.c. Esempio Corsa di cavalli con diverse prob. vittoria. ( X = Codifica deve tener conto delle diverse probabilità. 64 Ad ogni passo dividiamo i cavalli (per cui non è stata ancora completata la codifica in due insiemi equiprobabili aggiungiamo 0 alla codifica dei cavalli in un insieme e alla codifica dei rimanenti cavalli p.7/28
18 X = ( p.8/28
19 Numero atteso di bit della codifica Qualè il numero atteso di bit utilizzati per codificare il nome del vincitore? (# bits parola codice (probabilità di vittoria = = = 6 8 = 2 H(X = 2 lg lg lg lg ( 64 lg 64 = 2. p.9/28
20 Funzioni concave/convesse Def. Una funzione f(x si dice concava su un intervallo (a, b se x, x 2 (a, b e 0 γ f (λ x + ( λ x 2 λ f (x + ( λ f (x 2 f è strettamente concava se la disuguaglianza é stretta per 0 < λ <. Esempio lg x è una funzione strettamente concava di x. Def. Una funzione f(x si dice convessa su un intervallo (a, b se f(x è concava sull intervallo (a, b.. p.20/28
21 . p.2/28
22 Diseguaglianza di Jensen ( x x 2... x n X = p (x p (x 2... p (x n f: funzione concava f (X = ( f(x f(x 2... f(x n p (x p (x 2... p (x n. Risulta E[f(X] f(e[x], f strettamente concava: uguaglianza sse X è concentrata in un unico punto. p.22/28
23 Dim. La dimostrazione procede per induzione su X. Base induzione: X = 2. Si consideri la v.c. ( x x 2 X = p p 2 Per la definizione di funzione concava, si ha che E [f (X] = p f(x + p 2 f(x 2 f(p x + p 2 x 2 = f (E [X]. L uguaglianza vale sse p = oppure p 2 =.. p.23/28
24 Passo induttivo: Supponiamo che la disuguaglianza di Jensen sia verificata per X = k. Dimostriamo che la disuguaglianza è verificata per X = k. E [f (X] = k p i f (x i = p k f (x k + i= = p k f(x k + ( p k ( k i= k i= p i f(x i p i ( p k f(x i. p.24/28
25 Osserviamo che k i= X = p i ( p k f(x i = E[f(X ] dove X è la v.c. ( x... x k p p k... p k p k L ipotesi induttiva implica E[f(X ] f(e[x ] per cui risulta: E[f(X] p k f(x k + ( p k f ( k i= p i p k x i Applichiamo la definizione di funzione concava al termine destro.. p.25/28
26 Otteniamo E[f(X] f = f ( p k x k + ( p k k i= ( k p i x i = f (E [X]. i= p i ( p k x i f strettamente concava, uguaglianza sse tutti sono = (def. f concava: p k = oppure k i= p i/( p k = (i.i.: p k = oppure X concentrata in un unico punto X concentrata in un unico punto.. p.26/28
27 Conseguenza della D. J. Teorema Sia X v.c. con alfabeto X e d.d.p. P (x. Risulta H(X lg X. L uguaglianza vale sse X è uniformemente distribuita. Dim. ( H(X = E lg P (x ( lg E per la disug. di Jensen P (x = lg P (x P (x = = lg X. x X x X. p.27/28
28 La disuguglianza di Jensen vale con il segno di = sse = c costante, x X. P (x P (x = c P (x = c x X P (x = x X c = X c. Poichè x X P (x = allora P (x = c = X.. p.28/28
Corso: Strumenti di Teoria dell Informazione per l Informatica, Parte A (STII(A))
STIIA Corso: Strumenti di Teoria dell Informazione per l Informatica, Parte A STIIA Classe: Matricole Pari Docente: Prof. Luisa Gargano Testo principale: T. Cover, J. Thomas, Elements of Information Theory,
DettagliDef. La lunghezza media L(C) di un codice C per una v.c. Obiettivo: Codice ottimo rispetto alla lunghezza media. Lunghezza media di un codice
Lunghezza media di un codice Def. La lunghezza media L(C) di un codice C per una v.c. X con d.d.p. P(x) è data da L(C) = x X p (x) l (x) = E[l(X)] Obiettivo: Codice ottimo rispetto alla lunghezza media
DettagliTEORIA DELL INFORMAZIONE ED ENTROPIA FEDERICO MARINI
TEORIA DELL INFORMAZIONE ED ENTROPIA DI FEDERICO MARINI 1 OBIETTIVO DELLA TEORIA DELL INFORMAZIONE Dato un messaggio prodotto da una sorgente, l OBIETTIVO è capire come si deve rappresentare tale messaggio
DettagliLunghezza media. Teorema Codice D-ario prefisso per v.c. X soddisfa. L H D (X). Uguaglianza vale sse D l i. = p i. . p.1/27
Lunghezza media Teorema Codice D-ario prefisso per v.c. X soddisfa L H D (X). Uguaglianza vale sse D l i = p i.. p.1/27 Lunghezza media Teorema Codice D-ario prefisso per v.c. X soddisfa L H D (X). Uguaglianza
DettagliNota: Eventi meno probabili danno maggiore informazione
Entropia Informazione associata a valore x avente probabilitá p(x é i(x = log 2 p(x Nota: Eventi meno probabili danno maggiore informazione Entropia di v.c. X P : informazione media elementi di X H(X =
Dettagli10 Proprietà di Equipartizione Asintotica
FX Teoria dell Informazione e della Trasmissione 0 Proprietà di Equipartizione Asintotica Docente: Nicolò Cesa-Bianchi versione 6 aprile 206 Come nel caso della codifica sorgente, anche nel caso della
DettagliCodifica delle sequenze sorgente
Codifica delle sequenze sorgente Sorgente emette sequenza di simboli appartenenti ad un alfabeto X che vengono codificati come sequenze di simboli di un alfabeto D-ario.. p.1/?? Codifica delle sequenze
DettagliModello di sistema di comunicazione
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Teoria dell informazione A.A. 2006-07 Alberto Perotti DELEN-DAUIN Modello di sistema di comunicazione Il modello di
DettagliLezione 1, 2 e 3 Ugo Vaccaro
Teoria dell Informazione II Anno Accademico 08 09 Lezione, e 3 Ugo Vaccaro Per i nostri scopi, una sorgente di informazione è una sequenza di variabili casuali X, X,..., X i,... le quali assumono valori
DettagliLezione 4 Ugo Vaccaro
Teoria dell Informazione II Anno Accademico 206 207 Lezione 4 Ugo Vaccaro Nella lezione scorsa abbiamo derivato il seguente risultato. Teorema Per ogni codifica UD per una sorgente DSSM con alfabeto sorgente
DettagliTeoria dell informazione
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Teoria dell informazione A.A. 2008-09 Alberto Perotti DELEN-DAUIN Modello di sistema di comunicazione Il modello di
DettagliCODIFICA CANALE. Comunicazione con successo: ricevitore ottiene output sorgente. Rumore. Sorgente Cofificatore Canale. Decodificatore.
CODIFICA CANALE Sorgente Cofificatore Canale Decodificatore Ricevitore Rumore Comunicazione con successo: ricevitore ottiene output sorgente. p.1/24 CODIFICA CANALE Sorgente Cofificatore Canale Decodificatore
DettagliComunicazioni Elettriche II
Comunicazioni Elettriche II Laurea Magistrale in Ingegneria Elettronica Università di Roma La Sapienza A.A. 2017-2018 Capacità del canale discreto Teoria dell informazione Sorgente Codificatore di sorgente
DettagliComunicazioni Elettriche II
Comunicazioni Elettriche II Laurea Magistrale in Ingegneria Elettronica Università di Roma La Sapienza A.A. 207-208 Informazioni sul corso Mercoledì 0.00-2.00 Aula 22 Giovedì 0.00-2.00 Aula 25 Venerdì
DettagliLa teoria dell informazione
La teoria dell informazione Perché la teoria dell informazione è importante per la linguistica computazionale 2005 Isabella Chiari 1 Informatica Informazione+automatica = informatica Trattamento automatico
DettagliComunicazioni Elettriche II
Comunicazioni Elettriche II Laurea Magistrale in Ingegneria Elettronica Università di Roma La Sapienza A.A. 27-28 Teoria dell informazione Esercitazione 7 Teoria dell informazione Sorgente Codificatore
Dettagli8 Derivati dell entropia
(F1X) Teoria dell Informazione e della Trasmissione 8 Derivati dell entropia Docente: Nicolò Cesa-Bianchi versione 23 marzo 2016 Siano X e Y due variabili casuali con valori in insiemi finiti X e Y. Detta
DettagliComunicazioni Elettriche II
Comunicazioni Elettriche II Laurea Magistrale in Ingegneria Elettronica Università di Roma La Sapienza A.A. 2017-2018 Teoria dell informazione Esercitazione 3 Teoria dell informazione Sorgente Codificatore
DettagliCompressione Dati. Teorema codifica sorgente: Entropia fornisce un limite sia inferiore che superiore al numero di bit per simbolo sorgente.. p.
Compressione Dati Teorema codifica sorgente: Entropia fornisce un limite sia inferiore che superiore al numero di bit per simbolo sorgente.. p.1/21 Compressione Dati Teorema codifica sorgente: Entropia
DettagliCODIFICA CANALE. Comunicazione con successo: ricevitore ottiene output sorgente. Rumore. Sorgente Cofificatore Canale. Decodificatore.
CODIFICA CANALE Sorgente Cofificatore Canale Decodificatore Ricevitore Rumore Comunicazione con successo: ricevitore ottiene output sorgente p. 1/39 CODIFICA CANALE Sorgente Cofificatore Canale Decodificatore
DettagliRoberto Maieli La trasmissione dell informazione
Roberto Maieli La trasmissione dell informazione Corso di AIC Sistema di comunicazione Sorgente messaggio Sistema di trasmissione Trasmettitore Canale di trasmissione segnale Ricevitore rumore messaggio
DettagliSTII. Probabilità e proprietà dei logaritmi
STII Durante una trasmissione, il segnale naviga alcuni minuti prima di arrivare a destinazione. Durante il percorso, il segnale è soggetto a rumore, quindi può capitare che il messaggio che è stato inviato
DettagliLezione 4 Ugo Vaccaro
Teoria dell Informazione II Anno Accademico 205 206 Lezione 4 Ugo Vaccaro Il risultato principale che abbiamo scoperto nella lezione scorsa è il seguente: data una sorgente DSSM X, X 2,..., X i,... con
DettagliCodifica sorgente e canale
Codifica sorgente e canale Codifica sorgente Codifica canale in Canale Compressione Codifica Decodifica Decompress. Rumoroso out Codifica sorgente: comprimere i dati per rimuovere ridondanza Codifica canale:
DettagliLA CODIFICA. CANALE IDEALE E REALE
LA CODIFICA. CANALE IDEALE E REALE L A CODIFICA Per trasmettere i simboli generati dalla sorgente devo tradurli in segnali adatti al canale. Per effettuare la trasmissione dovremo: MODULARE il segnale:
DettagliLezione 11 Ugo Vaccaro
Teoria dell Informazione II Anno Accademico 207 208 Lezione Ugo Vaccaro Abbiamo visto finora che in vari problemi collegati alla codifica di emissioni di una sorgente di informazione la entropia H(P )
DettagliElementi di teoria dell informazione e della trasmissione
VERSIONE 19.4.01 Elementi di teoria dell informazione e della trasmissione Introduzione Efficienza nell uso dei supporti Quantità di informazione ed entropia La caratterizzazione statistica dei canali
DettagliLa teoria dell informazione
Intelligenza artificiale, informatica, linguistica, scienze umane e molte altre discipline concorrono a formare il campo che oggi si definisce informatica umanistica Informatica Informazione+automatica
Dettagli9. Test del χ 2 e test di Smirnov-Kolmogorov. 9.1 Stimatori di massima verosimiglianza per distribuzioni con densità finita
9. Test del χ 2 e test di Smirnov-Kolmogorov 9. Stimatori di massima verosimiglianza per distribuzioni con densità finita Supponiamo di avere un campione statistico X,..., X n e di sapere che esso è relativo
Dettagli1) Probabilità di errore di trasmissione. 2) Capacità di canale. 3) Esempi di calcolo della capacità. 4) Disuguaglianza di Fano
Argomenti della Lezione 1) Probabilità di errore di trasmissione ) Capacità di canale 3) Esempi di calcolo della capacità 4) Disuguaglianza di Fano 5) Teorema inverso della codifica di canale 1 Probabilità
DettagliComunicazioni Elettriche Esercizi
Comunicazioni Elettriche Esercizi Alberto Perotti 9 giugno 008 Esercizio 1 Un processo casuale Gaussiano caratterizzato dai parametri (µ = 0, σ = 0.5) ha spettro nullo al di fuori dellintervallo f [1.5kHz,
DettagliTeoria dell Informazione II Anno Accademico Lezione 6-7
Teoria dell Informazione II Anno Accademico 2017 2018 Lezione 6-7 Ugo Vaccaro ( ) 1 2 n Data una variabile casuale X = che assume valori i, con probabilità p p 1 p 2 p i, per i = 1,...,n, n vogliamo studiare
DettagliComunicazioni Elettriche II
Comunicazioni Elettriche II Laurea Magistrale in Ingegneria Elettronica Università di Roma La Sapienza A.A. 2017-2018 Equiripartizione asintotica AEP Asymptotic Equiripartition Property AEP Nella teoria
DettagliTeoria dell informazione
Teoria dell informazione Giuseppe Ruggeri Università Mediterranea di Reggio Calabria Italy Outline Cos è l informazione? E possibile misurare l informazione? Limiti matematici nella rappresentazione dell
DettagliSorgenti discrete e informazione
Sorgenti discrete e informazione La definizione formale della quantità di informazione è dovuta a Shannon Nella sua teoria si fa riferimento ad una sorgente di messaggi connessa tramite un canale a un
DettagliSicurezza di un Cifrario (C. Shannon)
La teoria di Shannon segretezza perfetta sicurezza computazionale Sicurezza di un Cifrario (C. Shannon) SEGRETEZZA PERFETTA Un Cifrario è detto perfetto, o assolutamente sicuro, se, dopo aver intercettatto
DettagliINFORMAZIONE E COMPLESSITA
INFORMAZIONE E COMPLESSITA Antonio Restivo Università degli Studi di Palermo Lezioni Lincee di Scienze Informatiche Palermo 26 Febbraio 2015 Concetti fondamentali delle Scienze Informatiche Le Scienze
Dettagli..., x M. : codice o sequenza di bit che rappresentano il messaggio x i ; n i : lunghezza in bit del codice C X i
Definizioni X : sorgente di informazione discreta; X k : messaggi prodotti da X ; ogni messaggio è una v.c.d., k è l'indice temporale; alfabeto di X : insieme {x,..., x } degli messaggi che la sorgente
DettagliUNIVERSITÀ DEGLI STUDI ROMA TRE Corso di Laurea in Matematica ST410 - Statistica 1 - A.A. 2014/2015 II Esonero - 15 Gennaio 2015
UNIVERSITÀ DEGLI STUDI ROMA TRE Corso di Laurea in Matematica ST410 - Statistica 1 - A.A. 014/015 II Esonero - 15 Gennaio 015 1 3 4 5 6 Tot. Avvertenza: Svolgere ogni esercizio nello spazio assegnato,
DettagliFondamenti dell Informatica
Informatica e Comunicazione Digitale (sede di Taranto) Fondamenti dell Informatica a.a. 2015-2016 Programma 2015-2016 1. Teoria dell Informazione 2. Algoritmi e problema 3. Algebra di Boole 4. La Macchina
DettagliComunicazioni Elettriche II
Comunicazioni Elettriche II Laurea Magistrale in Ingegneria Elettronica Università di Roma La Sapienza A.A. 27-28 Teoria dell informazione Esercitazione 6 Teorema della codifica di sorgente Si consideri
DettagliSoluzioni di Esercizi di Esame di Segnali Aleatori per Telecomunicazioni
Corso di Laurea in Ingegneria Informatica corso di Telecomunicazioni (Prof. G. Giunta) (editing a cura dell ing. F. Benedetto) Soluzioni di Esercizi di Esame di Segnali Aleatori per Telecomunicazioni Esame
Dettagli10.. Codici correttori d errore. Modulo TLC:TRASMISSIONI Codici correttori d errore
10.. Codici correttori d errore Codici correttori d errore 2 Obiettivi: correggere o rivelare errori nella trasmissione di sequenze numeriche (sequenze di simboli, usualmente binari) Correzione di errore
DettagliFrequenza lettere in inglese
Frequenza lettere in inglese Sequenza random (entropia log 27 = 4.75): XFOML RXKHRJFFJUJ ZLPWCFWKCYJ FFJEYVKCQSGHYDĚ Sequenza basata su frequenze (entropia circa 4.1): OCRO HLI RGWR NMIELWIS EU LL NBNESEBYAĚ
DettagliInformazione, Entropia e Probabilità
Informazione, Entropia e Probabilità Alessandro Lenci Università di Pisa, Dipartimento di Linguistica Via Santa Maria, 36, 56100 Pisa, Italy alessandro.lenci@ilc.cnr.it Linguaggio e comunicazione - LO042
DettagliLa Teoria dell Informazione. Il termine calore. Le origini. Cosa intendiamo quando usiamo il termine informazione?
La Teoria dell Informazione Cosa intendiamo quando usiamo il termine informazione? Ogni termine del linguaggio scientifico deve essere preciso ed univoco. Polisemia vs Monosemia Il termine calore 1. «Renzo
DettagliStatistica e analisi dei dati Data: 14 Marzo Lezione 7. Figura 1: Spazio campionario relativo al problema della diagnosi
Statistica e analisi dei dati Data: 4 Marzo 06 Lezione 7 Docente: Prof. Giuseppe Boccignone Scriba: Noemi Tentori Teorema o regola di Byes Esempio. Diagnosi medica Figura : Spazio campionario relativo
DettagliTeoria dell Informazione
Corso di Laurea Magistrale in Scienze dell Informazione Editoriale, Pubblica e Sociale Teoria dell Informazione Cosa è l informazione L informazione è qualcosa che si possiede e si può dare ad un altro
DettagliL informazione numerica
L informazione numerica Sorgenti di informazione Abbiamo esaminato delle sorgenti di informazione analogiche (audio, video). Abbiamo visto come trasmetterle a distanza per mezzo di sistemi analogici. Come
DettagliSi noti che questa definizione dice esattamente che
DISUGUAGLIANZA INTEGRALE DI JENSEN IN DIMENSIONE FINITA LIBOR VESELY integrazione. Prima disuguaglianza integrale di Jensen.. Motivazione. Siano un insieme convesso in uno spazio vettoriale, f : (, + ]
DettagliLa codifica di sorgente
Tecn_prog_sist_inform Gerboni Roberta è la rappresentazione efficiente dei dati generati da una sorgente discreta al fine poi di trasmetterli su di un opportuno canale privo di rumore. La codifica di canale
Dettagli1. Calcolo Differenziale per funzioni di una variabile
1. Calcolo Differenziale per funzioni di una variabile 1.1 Definizione di Derivata e prime proprietà Definizione 1.1 Sia f :]a, b[ R, x 0 ]a, b[. Allora esiste δ > 0 : x 0 + ]a, b[, 0 < < δ. Se esiste
DettagliCompressione dell Informazione (Parte I) Marco Gori
ompressione di testo Marco Gori, Università di Siena 1 Compressione dell Informazione (Parte I) Fondamenti e Richiami di Teoria dell Informazione Marco Gori marco@dii.unisi.it ompressione di testo Marco
DettagliCapitolo 3 Compressione sorgenti statiche
Capitolo 3 Compressione sorgenti statiche Elementi di codifica di sorgente Entropia Classificazione degli algoritmi Testo RLE Huffman statico Huffman dinamico Codifica aritmetica LZ Immagini Prestazioni
DettagliIndice. A Riassunto formule principali sulla Teoria dell Informazione per sorgenti135
Indice 8 Teoria dell Informazione per sorgenti 123 8.1 Introduzione.................................... 123 8.2 Codifica di sorgente............................... 123 8.2.1 Classificazione tecniche di
DettagliInformatica. Caratterizzazione del canale I simboli emessi dalla sorgente passano attraverso un canale di trasmissione.
Informatica Pietro Storniolo storniolo@csai.unipa.it http://www.pa.icar.cnr.it/storniolo/info267 Entropia e flusso di informazione di una sorgente La sorgente viene caratterizzata dal valor medio di I(x
DettagliStatistica. Lezione : 17. Variabili casuali
Corsi di Laurea: a.a. 2018-19 Diritto per le Imprese e le istituzioni Scienze Internazionali dello Sviluppo e della Cooperazione Statistica Variabili casuali Lezione : 17 Docente: Alessandra Durio 1 Contenuti
DettagliComplessità di Kolmogorov
(FX) Teoria dell Informazione e della Trasmissione Complessità di Kolmogorov Docente: Nicolò Cesa-Bianchi versione maggio 206 La teoria dell informazione secondo Shannon, introdotta nel 948, si basa sulla
DettagliCalcolo differenziale II
Calcolo differenziale II Hynek Kovarik Università di Brescia Analisi Matematica 1 Hynek Kovarik (Università di Brescia) Derivate (II) Analisi Matematica 1 1 / 36 Massimi e minimi Definizione Sia A R, f
DettagliEsercizi di Probabilità - Matematica Applicata a. a aprile 2014
Esercizi di Probabilità - Matematica Applicata a. a. 2013-3014 db 1 aprile 2014 1 Funzione di ripartizione Si dice funzione di ripartizione o funzione cumulativa delle frequenze di una variabile casuale
DettagliV Appello di Calcolo delle Probabilità Cognome: Laurea Triennale in Matematica 2014/15 Nome: 7 gennaio
V Appello di Calcolo delle Probabilità Cognome: Laurea Triennale in Matematica 24/5 Nome: 7 gennaio 26 Email: Se non è espressamente indicato il contrario, per la soluzione degli esercizi è possibile usare
Dettagli1) Entropia di variabili aleatorie continue. 2) Esempi di variabili aleatorie continue. 3) Canali di comunicazione continui. 4) Canale Gaussiano
Argomenti della Lezione 1) Entropia di variabili aleatorie continue ) Esempi di variabili aleatorie continue 3) Canali di comunicazione continui 4) Canale Gaussiano 5) Limite di Shannon 1 Entropia di una
DettagliAppunti sui Codici di Reed Muller. Giovanni Barbarino
Appunti sui Codici di Reed Muller Giovanni Barbarino Capitolo 1 Codici di Reed-Muller I codici di Reed-Muller sono codici lineari su F q legati alle valutazioni dei polinomi sullo spazio affine. Per semplicità
Dettagli1 Esercizio - caso particolare di ottimalità
Corso: Gestione ed elaborazione grandi moli di dati Lezione del: 5 giugno 2006 Argomento: Compressione aritmetica e Tecniche di compressione basate su dizionario Scribes: Andrea Baldan, Michele Ruvoletto
DettagliCorso di Laurea in Informatica Applicata Esame di Calcolo delle Probabilità e Statistica Prova scritta dell 11 gennaio 2007
Corso di Laurea in Informatica Applicata Esame di Calcolo delle Probabilità e Statistica Prova scritta dell 11 gennaio 007 Primo esercizio Per una certa stampante S 1, la probabilità che un generico foglio
DettagliCP210 Introduzione alla Probabilità: Esame 2
Dipartimento di Matematica, Roma Tre Pietro Caputo 2018-19, II semestre 9 luglio, 2019 CP210 Introduzione alla Probabilità: Esame 2 Cognome Nome Matricola Firma Nota: 1. L unica cosa che si può usare durante
DettagliIntroduzione alla codifica entropica
Compressione senza perdite Il problema Introduzione alla codifica entropica Abbiamo un alfabeto di simboli A (nota: non è detto che gli elementi di A siano numeri) Sappiamo che il simbolo a A si presenta
DettagliPunti di discontinuità
Punti di discontinuità DEF. 15 Siano f una funzione reale di una variabile reale definita nel sottoinsieme X di R, x 0 un punto di X per esso di accumulazione. Se f non è continua in x 0, essa si dice
DettagliElaborazione dell informazione. Elaborazione dell informazione. Rappresentazione dei numeri INFORMATICA PER LE DISCIPLINE UMANISTICHE 2 (13042)
Elaborazione dell informazione INFORMATICA PER LE DISCIPLINE UMANISTICHE 2 (13042) Elaborazione di informazione prevede una codifica come: Dato: insieme di simboli rappresentati su un supporto Negli elaboratori:
Dettagli(Ciascuno dei quiz non ha necessariamente una ed una sola risposta giusta) 1. Sia f : X X una funzione totale e iniettiva e sia R X X definito da
Sapienza Università di Roma Corso di Laurea in Informatica Insegnamento di Metodi matematici per l Informatica, canale A-D Esame scritto del 26/01/2009 1. Nome e Cognome Matricola Anno di corso secondo
DettagliConversione Analogico/Digitale
Conversione Analogico/Digitale 1 Fondamenti di Segnali e Trasmissione Conversione analogico/digitale (A/D) Per rappresentare numericamente un segnale continuo nel tempo e nelle ampiezze è necessario: Campionare
DettagliTest d ipotesi. Monica Musio, Maria Luisa Targhetta
Test d ipotesi Monica Musio, Maria Luisa Targhetta 0. Introduzione Un ipotesi statistica è un asserzione sui parametri di una popolazione. Siano: H 0 : θ Θ 0 H : θ Θ () L ipotesi nulla e l ipotesi alternativa
DettagliCapitolo 7 Strato Fisico- Codici correttori d errore e capacità di canale
Capitolo 7 Strato Fisico- Codici correttori d errore e capacità di canale 1 Obiettivi: Codici correttori d errore correggere o rivelare errori nella trasmissione di segnali numerici (sequenze di simboli,
DettagliSperimentazioni di Fisica I mod. A Statistica - Lezione 3
Sperimentazioni di Fisica I mod. A Statistica - Lezione 3 A Garfagnini, M Mazzocco, C Sada Dipartimento di Fisica G. Galilei, Università di Padova AA 2014/2015 Elementi di Teoria della Probabilità L ineliminabile
DettagliAnalisi Matematica 3 (Fisica) Prova scritta del 17 febbraio 2012 Un breve svolgimento delle versioni A
Analisi Matematica 3 (Fisica) Prova scritta del 7 febbraio Un breve svolgimento delle versioni A Vi sarò grato per la segnalazione di eventuali errori. Esercizio. (a) Dimostrare che l equazione () (3 +
DettagliANALISI MATEMATICA A SECONDO MODULO SOLUZIONI DEGLI ESERCIZI DELLA SETTIMANA 15. x 2 i
ANALISI MATEMATICA A SECONDO MODULO SOLUZIONI DEGLI ESERCIZI DELLA SETTIMANA 15 (1) (Es 9 pag 117) Se per ogni x R n ( x := x 2 i ) 1/2 verificate che per ogni x, y R n vale la seguente legge del parallelogramma:
DettagliQUANTIZZAZIONE E CONVERSIONE IN FORMA NUMERICA. 1 Fondamenti Segnali e Trasmissione
UANTIZZAZIONE E CONVERSIONE IN FORMA NUMERICA Fondamenti Segnali e Trasmissione Campionamento e quantizzazione di un segnale analogico Si consideri il segnale x(t) campionato con passo T c. Campioni del
DettagliLaurea in Informatica Corso di Analisi Matematica Calcolo differenziale per funzioni di una variabile
Laurea in Informatica Corso di Analisi Matematica Calcolo differenziale per funzioni di una variabile Docente: Anna Valeria Germinario Università di Bari A.V.Germinario (Università di Bari) Analisi Matematica
DettagliCP110 Probabilità: Esame 2 luglio Testo e soluzione
Dipartimento di Matematica, Roma Tre Pietro Caputo 212-13, II semestre 2 luglio, 213 CP11 Probabilità: Esame 2 luglio 213 Testo e soluzione 1. (6 pts Due mazzi di carte francesi vengono uniti e mischiati.
DettagliAPPUNTI DI TEORIA DEI CODICI
UNIVERSITÀ DI CATANIA FACOLTÀ DI INGEGNERIA APPUNTI DI TEORIA DEI CODICI Autori: L. Cauchi V. La Terra R. Grasso Coperto da diritti di c copyright Ho letto questi appunti scritti da Lucia Cauchi, Rosario
DettagliSpazi Vettoriali ed Applicazioni Lineari
Spazi Vettoriali ed Applicazioni Lineari 1. Sottospazi Definizione. Sia V uno spazio vettoriale sul corpo C. Un sottoinsieme non vuoto W di V è un sottospazio vettoriale di V se è chiuso rispetto alla
DettagliE una teoria matematica che tratta l aspetto simbolico dell informazione
Che cos è la teoria dell informazione? E una teoria matematica che tratta l asetto simbolico dell informazione La teoria dell informazione ha origine nel 948 con la ubblicazione da arte di C. E. Shannon
Dettagli4) Teorema fondamentale della codifica di canale. 6) Definizione di codifica di canale (FEC e ARQ)
Argomenti della Lezione 1) Classificazione dei codici di canale 2) Benefici della codifica di canale 3) Decodifica hard e soft 4) Teorema fondamentale della codifica di canale 5) Classificazione dei codici
DettagliCrittografia Moderna. Segretezza Perfetta: nozioni
Crittografia Moderna Segretezza Perfetta: nozioni Segretezza perfetta Ci occuperemo di schemi di cifratura perfettamente sicuri Avversari di potere computazionale illimitato confidenzialità / riservatezza
DettagliCorso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Teoria della probabilità A.A
Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Teoria della probabilità A.A. 2004-05 Alberto Perotti DELEN-DAUIN Esperimento casuale Esperimento suscettibile di più
DettagliIl secondo teorema di Shannon
Il secondo teorema di Shannon Appunti scritti da Alberto Leporati e-mail: alberto.leporati@unimib.it Dipartimento di Informatica, Sistemistica e Comunicazione (DISCo) Università degli Studi di Milano Bicocca
DettagliLa codifica di sorgente
Tecn_prog_sist_inform Gerboni Roberta è la rappresentazione efficiente dei dati generati da una sorgente discreta al fine poi di trasmetterli su di un opportuno canale privo di rumore. La codifica di canale
DettagliE03 ESERCIZI SU LIVELLO FISICO
E03 ESERCIZI SU LIVELLO FISICO Esercizio 1 Un semaforo è una sorgente di informazione a) analogica. b) numerica, con alfabeto di quattro simboli (verde, rosso, giallo, lampeggiante). c) la cui natura dipende
DettagliUniversità di Pisa - Corso di Laurea in Informatica Analisi Matematica A. Pisa, 17 luglio 2018
Università di Pisa - Corso di Laurea in Informatica Analisi Matematica A Pisa, 7 luglio 08 omanda La funzione f : (0, + R definita da f( = + log ( + log A ha un asintoto orizzontale e nessun altro asintoto
Dettagli15 Informazione e Predizione
(FX) Teoria dell Informazione e della Trasmissione 5 Informazione e Predizione Docente: Nicolò Cesa-Bianchi versione 4 maggio 03 Consideriamo una sorgente X, p. Dallo studio della codifica sorgente, sappiamo
DettagliEsercizi di Calcolo delle Probabilità
Esercizi di Calcolo delle Probabilità Versione del 1/05/005 Corso di Statistica Anno Accademico 00/05 Antonio Giannitrapani, Simone Paoletti Calcolo delle probabilità Esercizio 1. Un dado viene lanciato
DettagliCorso di Analisi Matematica Calcolo differenziale per funzioni di una variabile
Corso di Analisi Matematica Calcolo differenziale per funzioni di una variabile Laurea in Informatica e Comunicazione Digitale A.A. 2013/2014 Università di Bari ICD (Bari) Analisi Matematica 1 / 41 1 Derivata
DettagliCORSO DI ANALISI MATEMATICA 2 SOLUZIONI ESERCIZI PROPOSTI 18/03/2013
CORSO DI ANALISI MATEMATICA SOLUZIONI ESERCIZI PROPOSTI 8/03/03 D.BARTOLUCCI, D.GUIDO. La continuità uniforme I ESERCIZIO: Dimostrare che la funzione f(x) = x 3, x A = (, ] non è uniformemente continua
DettagliFacoltà di Scienze MFN, Università di Cagliari Analisi Matematica 1 (Informatica), a.a. 2007/08. Insiemi numerici: sup A, inf A
Facoltà di Scienze MFN, Università di Cagliari Analisi Matematica 1 (Informatica, a.a. 2007/08 Esercizi: Parte 1 Insiemi numerici: sup A, inf A 1. Verificare se A, nel caso sia non vuoto, è limitato superiormente,
Dettagli2) Codici univocamente decifrabili e codici a prefisso.
Argomenti della Lezione ) Codici di sorgente 2) Codici univocamente decifrabili e codici a prefisso. 3) Disuguaglianza di Kraft 4) Primo Teorema di Shannon 5) Codifica di Huffman Codifica di sorgente Il
DettagliCorso di Laurea in Informatica Applicata Esame di Analisi Matematica Prova scritta del 10 gennaio 2007
Corso di Laurea in Informatica Applicata Esame di Analisi Matematica Prova scritta del 0 gennaio 007 Primo esercizio. È assegnato il numero complesso z = + i. (a) Posto z = + i, determinare la forma trigonometrica
DettagliProgrammazione Greedy I codici di Huffman
Programmazione Greedy I codici di Huffman Codifica dell informazione La rappresentazione ordinaria dell informazione prevede l impiego di un numero costante di bit; per esempio ad ogni carattere del codice
DettagliSECONDO TEST DI ANALISI 1 per i CdL in FISICA e MATEMATICA, a.a. 2016/17 assegnato in data lim
SECONDO TEST DI ANALISI per i CdL in FISICA e MATEMATICA, a.a. 06/7 assegnato in data 5..06. Sia f : R \ {(0, 0)} R 3 la funzione definita da ( ( 4 ) f(x, y) = x + y sin, + arctan(x y), x + y Si calcoli
DettagliSOLUZIONI COMPITO del 10/01/2019 ANALISI MATEMATICA I - 9 CFU ENERGETICA TEMA A
SOLUZIONI COMPITO del 0/0/209 ANALISI MATEMATICA I - 9 CFU ENERGETICA TEMA A Esercizio Osserviamo che Pertanto, i = 2e iπ/, + i = 2e iπ/. e 7iπ/8, 2e iπ/ z = = e 2e 7iπ/2 = e 7iπ/8, iπ/ 2 8 2 e iπ/8, e
Dettagli