Entropia. Motivazione. ? Quant è l informazione portata dalla sequenza? Abbiamo una sequenza S di N simboli (campioni audio, pixel, caratteri,...
|
|
- Agnello Martino
- 8 anni fa
- Visualizzazioni
Transcript
1 Entropia Motivazione Abbiamo una sequenza S di N simboli (campioni audio, pixel, caratteri,... ) s,s 2,s 3,... ognuno dei quali appartiene ad un alfabeto A di M elementi.? Quant è l informazione portata dalla sequenza? La lunghezza della più corta stringa binaria che descrive S. Entropia
2 Formulazione del problema Problem. Supponiamo () A = {,...,M}, (2) i simboli sono indipendenti ed identicamente distribuiti (iid) con probabilità P[s = n] = p n. Cerchiamo un algoritmo che associ ad ogni sequenza di N simboli una stringa binaria e tale che la lunghezza media delle stringhe sia minima. Detta L la minima lunghezza media per una sequenza di N simboli diremo che l informazione è L/N bit per simbolo. Entropia 2 Primo tentativo (molto scarso) Supponiamo A = {,2,...,6} Associamo ad ogni simbolo in A una stringa di 3 = log 2 A bit :-( Dato che log sprechiamo 0.4 bit per campione... Entropia 3
3 Secondo tentativo (un pelo meglio) Numeriamo tutte le possibili sequenze di N simboli (Es. associamo alla sequenza s n il numero n (s n )6 n ) Trasmettiamo la descrizione binaria dell indice associato alla sequenza? Quanti bit per simbolo usiamo? Ci sono M N possibili sequenze Servono N log 2 MN log 2 M + N bit per campione Per N grande lo spreco va a zero Entropia 4 Terzo tentativo Motivazione Si consideri il caso p = 0.999, p 2 = = p 6 = ed il seguente algoritmo Associa ad ogni sequenza di K seguita da un simbolo s la seguente stringa di bit K div4096 bit 0 bit K mod 4096 espresso come numero a 2 bit s espresso con un numero a 3 bit Quanti bit servono? Entropia 5
4 Dato che P[s ] = /000, Terzo tentativo (2) Prestazioni ci aspettiamo circa N/000 simboli diversi da l evento di trovare più di 4096 simboli uguali a sarà molto raro ogni simbolo diverso da costa 6 bit Il numero di bit per simbolo è ( ) N N = = log Entropia 6 Riflessione...? Cosa abbiamo imparato? È possibile usare meno di log 2 M bit per campione Il trucco è di sfruttare le caratteristiche statistiche dei simboli :-( Purtroppo la tecnica vista prima è molto ad hoc...? Riusciamo a trovare un algoritmo più generale? Entropia 7
5 L insieme tipico Introduzione L applicazione intuitiva della legge dei grandi numeri ci dice che il valore n si presenterà circa N p n in una sequenza lunga N Possiamo scommettere sul fatto che la sequenza S sia tipica Entropia 8 L insieme tipico (2) Definizione Sia f n (S) la frequenza con cui compare il simbolo s n nella sequenza S Diciamo che S è ε-tipica se f n (S) p n ε. Sia T ε,n l insieme delle sequenze ε-tipiche di lunghezza N La legge dei grandi numeri ci dice che fissati ε e δ esiste un N tale che P[S T ε,n ] δ Entropia 9
6 Nuovo algoritmo. Enumeriamo tutte le sequenze tipiche. 2. Se S è tipica, trasmettiamo il bit e l indice di S nella lista delle sequenze tipiche 3. Se S non è tipica, trasmettiamo il bit 0 e ogni simbolo di S codificato con log 2 M bit.? Quanti bit servono? Entropia 0 Nuovo algoritmo (2) Prestazioni Se N è molto grande possiamo trascurare il caso in cui S non è tipico Servono N log 2 T ε,n log 2 T ε,n N bit per simbolo. Dobbiamo calcolare T ε,n + N log 2 T ε,n N Entropia
7 Nuovo algoritmo (3) Prestazioni Supponiamo che S abbia esattamente N p n simboli uguali a n Il numero di sequenze tipiche è circa N! (N p )!(N p )! (N p M )! Entropia 2 Nuovo algoritmo (4) Prestazioni Il numero di bit per campione è circa N log N! 2 (N p )!(N p )! (N p M )! N (N log 2 N N p n log 2 N p n ) n N (N log 2 N n N p n log 2 p n n N p n log 2 N) = p n log 2 p n Entropia 3
8 Entropia Il valore H(X) = n p n log 2 p n si chiama entropia della v.a. X e misura la minima quantità di bit da spendere per codificare X. Entropia 4 Notazione Chiameremo P = [p,..., p M ] t vettore di probabilità Useremo talvolta la notazione H(P) Il dominio della funzione entropia è l insieme convesso D M = {P : p n 0, n p n = } P 2 P 2 P P 3 M = 2 M = 3 P Entropia 5
9 Proprietà base dell entropia Concavità L entropia è strettamente concava: siano P n, n =,...,K vettori di probabilità e sia K n= α n =, α n 0. H( n α n p n ) n α n H(p n ) L entropia è una funzione a panettone Dimostrazione Sia f (x) = xlog 2 x e si osservi che f (x) < 0 Da H(X) = n f (p n ) segue la tesi Entropia 6 Proprietà base dell entropia (2) Simmetria Si ha H(PP) = H(P) per qualsiasi matrice di permutazione P Invariante per permutazione degli assi Prova: ovvia Entropia 7
10 Proprietà base dell entropia (3) Non negatività Si ha H(X) 0 e H(X) = 0 se e solo se p n = per qualche n (X deterministica). Prova: ovvia Se sappiamo a priori che tutti gli elementi della sequenza sono uguali ad un certo simbolo, non serve trasmettere nulla. Entropia 8 Proprietà base dell entropia (4) Massimo H(X) log 2 M Il massimo viene raggiunto per la distribuzione uniforme P = [/M,...,/M] Interpretazioni L incertezza sul valore assunto da X è massima quando tutti i risultati sono equiprobabili Mal che vada possiamo sempre codificare usando log 2 M bit per campione Entropia 9
11 Proprietà base dell entropia (5) Massimo (prova) H è una funzione strettamente concava definita su un convesso ha un solo massimo Se P 0 è il punto in cui H assume il valore massimo, deve essere PP 0 = P 0 per qualsiasi permutazione P, altrimenti H avrebbe più di un punto di massimo L unica scelta possibile è P 0 = [/M,...,/M] Entropia 20 Entropia congiunta Siano X e Y due variabili aleatorie con alfabeti A X e A Y L entropia congiunta si definisce H(XY ) = p XY (x,y)log 2 p XY (x,y) x A X,y A Y Entropia 2
12 Entropia condizionata da un evento L entropia di X condizionata dall evento Y = α è definita da H(X Y = α) = x A X p X Y (x α)log 2 p X Y (x α) H(X Y = α) rappresenta l incertezza che abbiamo su X (o i bit necessari a descrivere X) una volta che sappiamo che Y ha assunto il valore Y Entropia 22 Codifica congiunta Si supponga di avere due sequenze di valori iid x x 2 x n y y 2 y n dove ogni coppia (x n,y n ) è distribuita secondo P XY. Algoritmo di codifica Codifica la sequenza y n usando H(Y ) bit per simbolo Dividi la sequenza x n in A Y sottosequenze S, S 2,... con S k = {x m : y m = k} Codifica ogni S k usando H(X Y = k) bit per campione? Che prestazioni otteniamo? Entropia 23
13 Codifica congiunta (2) Prestazioni La sequenza S k ha in media NP Y (k) elementi S k richiede NP Y (k)h(x Y = k) bit Il numero di bit/campione per codificare X è N k NP Y (k)h(x Y = k) = P Y (k)h(x Y = k) k Entropia 24 Entropia condizionata Definizione L entropia condizionata di X dato Y è definita come H(X Y ) = P Y (k)h(x Y = k) k H(X Y ) rappresenta il numero di bit per campione necessari per descrivere X quando si conosca Y Entropia 25
14 Entropia condizionata (2) Proprietà Un modo alternativo di scrivere l entropia condizionata è H(X Y ) = x A X,y A Y P XY (x,y)log 2 P X Y (x y) Nota: si usa la probabilità condizionata dentro il logaritmo, ma quella congiunta fuori. Entropia 26 Entropia condizionata (3) Proprietà Sfruttando la legge marginale P Y (k) = x AX P XY (x,k) si dimostra facilmente H(XY ) = H(Y ) + H(X Y ) Interpretazioni: L incertezza sulla coppia (X,Y ) è pari all incertezza su Y più l incertezza residua su X una volta che sia noto Y Codifica: l algoritmo visto prima Entropia 27
15 Entropia condizionata (4) Proprietà Sfruttando la concavità dell entropia ed il fatto che P X = k AY P Y (k)p X Y=k si ottiene H(X) = H(P X ) = H( k A Y P Y (k)p X Y=k ) k A Y P Y (k)h(p X Y=k ) = H(X Y ) Uguaglianza se P X Y =k non dipende da k X e Y indipendenti Interpretazione: se sappiamo qualcosa su Y l incertezza su X non può aumentare se X e Y sono indipendenti l incertezza non cambia (Y non ci dice nulla su X) Entropia 28 Entropia condizionata (5) Ovviamente H(X Y ) 0 dove l uguaglianza si raggiunge se e solo se H(X Y = α) = 0 per ogni α P X Y (x α) = per qualche x X è funzione di Y Interpretazione: se X è funzione di Y l incertezza residua risulta nulla una volta che sia nota Y Entropia 29
16 Altre proprietà Sfruttando il fatto che 0 H(X Y ) H(X) si ottiene che max(h(x),h(y )) H(XY ) H(X) + H(Y ) Si ha uguaglianza a sinistra se una variabile è funzione dell altra; uguaglianza a destra se le due variabili sono indipendenti Interpretazione L incertezza di (X,Y ) non può essere inferiore all incertezza delle singole componenti Per codificare la coppia (X,Y ) spendo al massimo H(X) + H(Y) bit Se una variabile è funzione dell altra è sufficiente trasmettere la variabile indipendente Entropia 30 Entropia di sorgente Motivazione Sia X k una successione stazionaria di v.a. (non necessariamente iid) Se codifico ogni valore separatamente, uso H(X) bit per simbolo, ma quando codifico X n conosco già X n H(X n X n ), a questo punto... posso codificare usando... perché non sfruttare tutto il passato? Entropia 3
17 Entropia di sorgente (2) Definizione Il condizionamento riduce l entropia la sequenza n H(X n X n,x n 2,...,X ) è monotona decrescente e non negativa esiste il limite H (X) = lim n H(X n X n,x n 2,...,X ) H (X) è detta entropia di sorgente e rappresenta l informazione portata da ogni nuovo simbolo quando si conosce l intera storia passata. Entropia 32 Informazione mutua Definizione L informazione mutua tra X e Y è I(X;Y ) = H(X) H(X Y ) Interpretazione: I(X;Y ) è la differenza tra l incertezza su X e l incertezza residua su X una volta che sia noto Y Quanta informazione su X è portata da Y Entropia 33
18 Informazione mutua (2) Proprietà Scritture alternative I(X;Y ) = H(X) + H(Y ) H(XY ) = H(Y ) H(Y X) L informazione mutua è simmetrica (dalla prima scrittura alternativa) I(X;Y ) = I(Y ;X) Entropia 34 Informazione mutua (3) Proprietà Dalle proprietà dell entropia condizionata 0 I(X;Y ) min(h(x),h(y )) I(X;Y ) = 0 quando X e Y sono indipendenti; I(X;Y ) raggiunge il valore massimo quando una variabile è funzione dell altra Entropia 35
19 Canali Un canale è modellato come una funzione (aleatoria) da A X a A Y Il legame tra ingresso ed uscita è dato specificato dalle probabilità condizionate P X Y 0 ε ε ε ε 0 Canale binario simmetrico (BSC) 0 ε ε ε ε Canale con cancellazione 0 perso Entropia 36 Capacità Sia C Y X la probabilità condizionata associata ad un canale e sia S l insieme delle probabilità congiunte compatibili con C Y X { S = P XY : C Y X (y,x) = P XY (x,y) } a P XY (x,a) La capacità del canale è definita come il massimo dell informazione mutua C = max I(X;Y ) P XY S Entropia 37
20 Teorema di capacità Su un canale con capacità C si possono trasmettere R < C bit per utilizzo con probabilità di errore arbitrariamente bassa Per qualsiasi R > C non è possibile trasmettere in maniera affidabile. Entropia 38 Capacità del canale binario simmetrico Consideriamo un canale binario simmetrico, ossia P(0 ) = P( 0) = ε P(0 0) = P( ) = ε e P X (0) = p. Probabilità congiunta P(0,0) = pε P(,0) = qε P(0,) = pε P(,) = qε Entropia 39
21 Capacità del canale binario simmetrico (2) Dato che abbiamo H(Y X) = H(ε) H(Y X = 0) = H(Y X = ) = H(ε) Inoltre, se p = /2 si vede che H(Y ) =, otteniamo C = H(Y ) H(Y X) = H(ε) Entropia 40 Grezzo... Dato che P Y = P Y X P X, si ha H(Y ) = H(P Y X P X ) = f (P X ) f è una funzione concava definita su un insieme convesso ed è invariante alle rotazioni degli assi Ne segue che il massimo è per P X uniforme Entropia 4
22 Algoritmi di compressione Primo tentativo (scarso assai) Vogliamo trovare un algoritmo di compressione pratico Associamo ad ogni simbolo una stringa binaria, dando stringhe corte ai simboli più probabili. Esempio: Sia P = [/4,/4,/4,/8,/6,/6] t (H(X) = 9/8 = bit) Usiamo le seguenti associazioni simboli stringe simbolo stringa simbolo stringa simbolo stringa
23 Primo tentativo (scarso assai) (2) Perché non funziona La sequenza viene codificata nella stringa per un totale di 26/6.6 bit/campione (< H(X)???), ma... :-(... la stessa stringa può essere ottenuta con le sequenze Il codice è ambiguo! Codici a prefisso Il codice visto prima non è univocamente decodificabile Una classe di codici sicuramente decodificabili è quella dei codici a prefisso Definition. Un codice è a prefisso se nessuna parola di codice è prefisso di un altra parola di codice. 44
24 Definizione del problema Cerchiamo un algoritmo che mappi ogni simbolo x A in una stringa di bit C (x) in modo tale che. L insieme delle parole di codice {C (x),x A } sia un codice a prefisso 2. La lunghezza media x A C (x) p x sia minima L euristica è sempre quella: probabilità grande, parole corte. 45 Codici a prefisso ed alberi? Come genero un codice a prefisso?! Sfrutto la corrispondenza biunivoca tra alberi binari e codici a prefisso Creo un albero binario avente gli elementi di A come foglie Etichetto i rami uscenti da ogni nodo con 0 e La parola di codice associata ad x la si legge sul percorso dalla radice verso x Il codice risultante è certamente a prefisso 46
25 Codici a prefisso ed alberi (2) Esempio c 0 f a b d e Al simbolo "b" associamo la stringa "00" simbolo stringa simbolo stringa simbolo stringa a 000 c 0 e 0 b 00 d 00 f 47 Riformulazione del problema Lunghezza della parola di codice C (x)=profondità della foglia x nell albero Costruisco l albero in modo tale che i simboli meno probabili corrispondano alle foglie più profonde 48
Algoritmi e strutture dati. Codici di Huffman
Algoritmi e strutture dati Codici di Huffman Memorizzazione dei dati Quando un file viene memorizzato, esso va memorizzato in qualche formato binario Modo più semplice: memorizzare il codice ASCII per
Dettagli1. PRIME PROPRIETÀ 2
RELAZIONI 1. Prime proprietà Il significato comune del concetto di relazione è facilmente intuibile: due elementi sono in relazione se c è un legame tra loro descritto da una certa proprietà; ad esempio,
Dettagli2) Codici univocamente decifrabili e codici a prefisso.
Argomenti della Lezione ) Codici di sorgente 2) Codici univocamente decifrabili e codici a prefisso. 3) Disuguaglianza di Kraft 4) Primo Teorema di Shannon 5) Codifica di Huffman Codifica di sorgente Il
DettagliNota: Eventi meno probabili danno maggiore informazione
Entropia Informazione associata a valore x avente probabilitá p(x é i(x = log 2 p(x Nota: Eventi meno probabili danno maggiore informazione Entropia di v.c. X P : informazione media elementi di X H(X =
Dettagli13. Campi vettoriali
13. Campi vettoriali 1 Il campo di velocità di un fluido Il concetto di campo in fisica non è limitato ai fenomeni elettrici. In generale il valore di una grandezza fisica assegnato per ogni punto dello
DettagliBasi di matematica per il corso di micro
Basi di matematica per il corso di micro Microeconomia (anno accademico 2006-2007) Lezione del 21 Marzo 2007 Marianna Belloc 1 Le funzioni 1.1 Definizione Una funzione è una regola che descrive una relazione
DettagliEsercitazione #5 di Statistica. Test ed Intervalli di Confidenza (per una popolazione)
Esercitazione #5 di Statistica Test ed Intervalli di Confidenza (per una popolazione) Dicembre 00 1 Esercizi 1.1 Test su media (con varianza nota) Esercizio n. 1 Il calore (in calorie per grammo) emesso
DettagliMetodi e Modelli Matematici di Probabilità per la Gestione
Metodi e Modelli Matematici di Probabilità per la Gestione Prova scritta del 30/1/06 Esercizio 1 Una banca ha N correntisti. Indichiamo con N n il numero di correntisti esistenti il giorno n-esimo. Descriviamo
DettagliFUNZIONI ELEMENTARI - ESERCIZI SVOLTI
FUNZIONI ELEMENTARI - ESERCIZI SVOLTI 1) Determinare il dominio delle seguenti funzioni di variabile reale: (a) f(x) = x 4 (c) f(x) = 4 x x + (b) f(x) = log( x + x) (d) f(x) = 1 4 x 5 x + 6 ) Data la funzione
DettagliE naturale chiedersi alcune cose sulla media campionaria x n
Supponiamo che un fabbricante stia introducendo un nuovo tipo di batteria per un automobile elettrica. La durata osservata x i delle i-esima batteria è la realizzazione (valore assunto) di una variabile
DettagliStima per intervalli Nei metodi di stima puntuale è sempre presente un ^ errore θ θ dovuto al fatto che la stima di θ in genere non coincide con il parametro θ. Sorge quindi l esigenza di determinare una
DettagliPolitecnico di Milano. Facoltà di Ingegneria Industriale. Corso di Analisi e Geometria 2. Sezione D-G. (Docente: Federico Lastaria).
Politecnico di Milano. Facoltà di Ingegneria Industriale. Corso di Analisi e Geometria 2. Sezione D-G. (Docente: Federico Lastaria). Aprile 20 Indice Serie numeriche. Serie convergenti, divergenti, indeterminate.....................
Dettagli3 GRAFICI DI FUNZIONI
3 GRAFICI DI FUNZIONI Particolari sottoinsiemi di R che noi studieremo sono i grafici di funzioni. Il grafico di una funzione f (se non è specificato il dominio di definizione) è dato da {(x, y) : x dom
DettagliPROBABILITÀ - SCHEDA N. 2 LE VARIABILI ALEATORIE
Matematica e statistica: dai dati ai modelli alle scelte www.dima.unige/pls_statistica Responsabili scientifici M.P. Rogantin e E. Sasso (Dipartimento di Matematica Università di Genova) PROBABILITÀ -
DettagliProbabilità condizionata: p(a/b) che avvenga A, una volta accaduto B. Evento prodotto: Evento in cui si verifica sia A che B ; p(a&b) = p(a) x p(b/a)
Probabilità condizionata: p(a/b) che avvenga A, una volta accaduto B Eventi indipendenti: un evento non influenza l altro Eventi disgiunti: il verificarsi di un evento esclude l altro Evento prodotto:
DettagliCodifiche a lunghezza variabile
Sistemi Multimediali Codifiche a lunghezza variabile Marco Gribaudo marcog@di.unito.it, gribaudo@elet.polimi.it Assegnazione del codice Come visto in precedenza, per poter memorizzare o trasmettere un
DettagliCorso di Laurea in Ingegneria Informatica e Automatica (A-O) Università di Roma La Sapienza
Corso di Laurea in Ingegneria Informatica e Automatica (A-O) Università di Roma La Sapienza CALCOLO DELLE PROBABILITÀ E STATISTICA ESAME DEL 17/2/215 NOME: COGNOME: MATRICOLA: Esercizio 1 Un sistema di
DettagliTeoria dei Giochi. Anna Torre
Teoria dei Giochi Anna Torre Almo Collegio Borromeo 14 marzo 2013 email: anna.torre@unipv.it sito web del corso:www-dimat.unipv.it/atorre/borromeo2013.html IL PARI O DISPARI I II S T S (-1, 1) (1, -1)
DettagliLEZIONE 7. Esercizio 7.1. Quale delle seguenti funzioni è decrescente in ( 3, 0) e ha derivata prima in 3 che vale 0? x 3 3 + x2. 2, x3 +2x +3.
7 LEZIONE 7 Esercizio 7.1. Quale delle seguenti funzioni è decrescente in ( 3, 0) e ha derivata prima in 3 che vale 0? x 3 3 + x2 2 6x, x3 +2x 2 6x, 3x + x2 2, x3 +2x +3. Le derivate sono rispettivamente,
DettagliSiamo così arrivati all aritmetica modulare, ma anche a individuare alcuni aspetti di come funziona l aritmetica del calcolatore come vedremo.
DALLE PESATE ALL ARITMETICA FINITA IN BASE 2 Si è trovato, partendo da un problema concreto, che con la base 2, utilizzando alcune potenze della base, operando con solo addizioni, posso ottenere tutti
DettagliCorso di Informatica Generale (C. L. Economia e Commercio) Ing. Valerio Lacagnina Rappresentazione in virgola mobile
Problemi connessi all utilizzo di un numero di bit limitato Abbiamo visto quali sono i vantaggi dell utilizzo della rappresentazione in complemento alla base: corrispondenza biunivoca fra rappresentazione
DettagliCapitolo 5. Funzioni. Grafici.
Capitolo 5 Funzioni. Grafici. Definizione: Una funzione f di una variabile reale,, è una corrispondenza che associa ad ogni numero reale appartenente ad un insieme D f R un unico numero reale, y R, denotato
Dettagli4 3 4 = 4 x 10 2 + 3 x 10 1 + 4 x 10 0 aaa 10 2 10 1 10 0
Rappresentazione dei numeri I numeri che siamo abituati ad utilizzare sono espressi utilizzando il sistema di numerazione decimale, che si chiama così perché utilizza 0 cifre (0,,2,3,4,5,6,7,8,9). Si dice
DettagliRappresentazione dei numeri in un calcolatore
Corso di Calcolatori Elettronici I A.A. 2010-2011 Rappresentazione dei numeri in un calcolatore Lezione 2 Università degli Studi di Napoli Federico II Facoltà di Ingegneria Rappresentazione dei numeri
DettagliInformatica. Rappresentazione binaria Per esempio +101010000 diventa +0.10101 10 18/10/2007. Introduzione ai sistemi informatici 1
Informatica Pietro Storniolo storniolo@csai.unipa.it http://www.pa.icar.cnr.it/storniolo/info200708 Numeri razionali Cifre più significative: : sono le cifre associate ai pesi maggiori per i numeri maggiori
DettagliDispense di Informatica per l ITG Valadier
La notazione binaria Dispense di Informatica per l ITG Valadier Le informazioni dentro il computer All interno di un calcolatore tutte le informazioni sono memorizzate sottoforma di lunghe sequenze di
Dettagli2 FUNZIONI REALI DI VARIABILE REALE
2 FUNZIONI REALI DI VARIABILE REALE 2.1 CONCETTO DI FUNZIONE Definizione 2.1 Siano A e B due insiemi. Una funzione (o applicazione) f con dominio A a valori in B è una legge che associa ad ogni elemento
DettagliProdotto libero di gruppi
Prodotto libero di gruppi 24 aprile 2014 Siano (A 1, +) e (A 2, +) gruppi abeliani. Sul prodotto cartesiano A 1 A 2 definiamo l operazione (x 1, y 1 ) + (x 2, y 2 ) := (x 1 + x 2, y 1 + y 2 ). Provvisto
DettagliRaccolta degli Scritti d Esame di ANALISI MATEMATICA U.D. 1 assegnati nei Corsi di Laurea di Fisica, Fisica Applicata, Matematica
DIPARTIMENTO DI MATEMATICA Università degli Studi di Trento Via Sommarive - Povo (TRENTO) Raccolta degli Scritti d Esame di ANALISI MATEMATICA U.D. 1 assegnati nei Corsi di Laurea di Fisica, Fisica Applicata,
DettagliAlessandro Pellegrini
Esercitazione sulle Rappresentazioni Numeriche Esistono 1 tipi di persone al mondo: quelli che conoscono il codice binario e quelli che non lo conoscono Alessandro Pellegrini Cosa studiare prima Conversione
DettagliStatistica e biometria. D. Bertacchi. Variabili aleatorie. V.a. discrete e continue. La densità di una v.a. discreta. Esempi.
Iniziamo con definizione (capiremo fra poco la sua utilità): DEFINIZIONE DI VARIABILE ALEATORIA Una variabile aleatoria (in breve v.a.) X è funzione che ha come dominio Ω e come codominio R. In formule:
DettagliCodifica binaria dei numeri relativi
Codifica binaria dei numeri relativi Introduzione All interno di un calcolatore, è possibile utilizzare solo 0 e 1 per codificare qualsiasi informazione. Nel caso dei numeri, non solo il modulo ma anche
DettagliLE SUCCESSIONI 1. COS E UNA SUCCESSIONE
LE SUCCESSIONI 1. COS E UNA SUCCESSIONE La sequenza costituisce un esempio di SUCCESSIONE. Ecco un altro esempio di successione: Una successione è dunque una sequenza infinita di numeri reali (ma potrebbe
DettagliMatematica generale CTF
Successioni numeriche 19 agosto 2015 Definizione di successione Monotonìa e limitatezza Forme indeterminate Successioni infinitesime Comportamento asintotico Criterio del rapporto per le successioni Definizione
DettagliElementi di Psicometria con Laboratorio di SPSS 1
Elementi di Psicometria con Laboratorio di SPSS 1 12-Il t-test per campioni appaiati vers. 1.2 (7 novembre 2014) Germano Rossi 1 germano.rossi@unimib.it 1 Dipartimento di Psicologia, Università di Milano-Bicocca
DettagliUn po di statistica. Christian Ferrari. Laboratorio di Matematica
Un po di statistica Christian Ferrari Laboratorio di Matematica 1 Introduzione La statistica è una parte della matematica applicata che si occupa della raccolta, dell analisi e dell interpretazione di
DettagliApplicazioni lineari
Applicazioni lineari Esempi di applicazioni lineari Definizione. Se V e W sono spazi vettoriali, una applicazione lineare è una funzione f: V W tale che, per ogni v, w V e per ogni a, b R si abbia f(av
Dettagli4. Operazioni binarie, gruppi e campi.
1 4. Operazioni binarie, gruppi e campi. 4.1 Definizione. Diremo - operazione binaria ovunque definita in A B a valori in C ogni funzione f : A B C - operazione binaria ovunque definita in A a valori in
DettagliInformazione analogica e digitale
L informazione L informazione si può: rappresentare elaborare gestire trasmettere reperire L informatica offre la possibilità di effettuare queste operazioni in modo automatico. Informazione analogica
DettagliDimensione di uno Spazio vettoriale
Capitolo 4 Dimensione di uno Spazio vettoriale 4.1 Introduzione Dedichiamo questo capitolo ad un concetto fondamentale in algebra lineare: la dimensione di uno spazio vettoriale. Daremo una definizione
DettagliConsideriamo due polinomi
Capitolo 3 Il luogo delle radici Consideriamo due polinomi N(z) = (z z 1 )(z z 2 )... (z z m ) D(z) = (z p 1 )(z p 2 )... (z p n ) della variabile complessa z con m < n. Nelle problematiche connesse al
DettagliLezione 10: Il problema del consumatore: Preferenze e scelta ottimale
Corso di Scienza Economica (Economia Politica) prof. G. Di Bartolomeo Lezione 10: Il problema del consumatore: Preferenze e scelta ottimale Facoltà di Scienze della Comunicazione Università di Teramo Scelta
DettagliProbabilità discreta
Probabilità discreta Daniele A. Gewurz 1 Che probabilità c è che succeda...? Una delle applicazioni della combinatoria è nel calcolo di probabilità discrete. Quando abbiamo a che fare con un fenomeno che
DettagliAPPUNTI DI MATEMATICA ALGEBRA \ INSIEMISTICA \ TEORIA DEGLI INSIEMI (1)
ALGEBRA \ INSIEMISTICA \ TEORIA DEGLI INSIEMI (1) Un insieme è una collezione di oggetti. Il concetto di insieme è un concetto primitivo. Deve esistere un criterio chiaro, preciso, non ambiguo, inequivocabile,
DettagliParte 3. Rango e teorema di Rouché-Capelli
Parte 3. Rango e teorema di Rouché-Capelli A. Savo Appunti del Corso di Geometria 203-4 Indice delle sezioni Rango di una matrice, 2 Teorema degli orlati, 3 3 Calcolo con l algoritmo di Gauss, 6 4 Matrici
Dettagli1 Giochi a due, con informazione perfetta e somma zero
1 Giochi a due, con informazione perfetta e somma zero Nel gioco del Nim, se semplificato all estremo, ci sono due giocatori I, II e una pila di 6 pedine identiche In ogni turno di gioco I rimuove una
DettagliCapitolo 13: L offerta dell impresa e il surplus del produttore
Capitolo 13: L offerta dell impresa e il surplus del produttore 13.1: Introduzione L analisi dei due capitoli precedenti ha fornito tutti i concetti necessari per affrontare l argomento di questo capitolo:
DettagliCapitolo V. I mercati dei beni e i mercati finanziari: il modello IS-LM
Capitolo V. I mercati dei beni e i mercati finanziari: il modello IS-LM 2 OBIETTIVO: Il modello IS-LM Fornire uno schema concettuale per analizzare la determinazione congiunta della produzione e del tasso
DettagliLe equazioni. Diapositive riassemblate e rielaborate da prof. Antonio Manca da materiali offerti dalla rete.
Le equazioni Diapositive riassemblate e rielaborate da prof. Antonio Manca da materiali offerti dalla rete. Definizione e caratteristiche Chiamiamo equazione l uguaglianza tra due espressioni algebriche,
DettagliProof. Dimostrazione per assurdo. Consideriamo l insieme complementare di P nell insieme
G Pareschi Principio di induzione Il Principio di Induzione (che dovreste anche avere incontrato nel Corso di Analisi I) consente di dimostrare Proposizioni il cui enunciato è in funzione di un numero
DettagliScelte in condizioni di rischio e incertezza
CAPITOLO 5 Scelte in condizioni di rischio e incertezza Esercizio 5.1. Tizio ha risparmiato nel corso dell anno 500 euro; può investirli in obbligazioni che rendono, in modo certo, il 10% oppure in azioni
Dettaglia) Osserviamo innanzi tutto che dev essere x > 0. Pertanto il dominio è ]0, + [. b) Poniamo t = log x. Innanzi tutto si ha:
ESERCIZIO - Data la funzione f (x) = (log x) 6 7(log x) 5 + 2(log x) 4, si chiede di: a) calcolare il dominio di f ; ( punto) b) studiare la positività e le intersezioni con gli assi; (3 punti) c) stabilire
DettagliCAPITOLO 16 SUCCESSIONI E SERIE DI FUNZIONI
CAPITOLO 16 SUCCESSIONI E SERIE DI FUNZIONI Abbiamo studiato successioni e serie numeriche, ora vogliamo studiare successioni e serie di funzioni. Dato un insieme A R, chiamiamo successione di funzioni
DettagliUn ripasso di aritmetica: Rappresentazione binaria - operazioni. riporti
Un ripasso di aritmetica: Rappresentazione binaria - operazioni A queste rappresentazioni si possono applicare le operazioni aritmetiche: riporti 1 1 0 + 1 0 = 1 0 0 24 Un ripasso di aritmetica: Rappresentazione
DettagliCapacità di canale in molte salse
Capacità di canale in molte salse. Bernardini 6 maggio 008 Indice 1 Introduzione 1 Modelli di canale 1.1 Matrice di transizione........................................ 1. Funzione aleatoria..........................................
DettagliLezioni di Matematica 1 - I modulo
Lezioni di Matematica 1 - I modulo Luciano Battaia 16 ottobre 2008 Luciano Battaia - http://www.batmath.it Matematica 1 - I modulo. Lezione del 16/10/2008 1 / 13 L introduzione dei numeri reali si può
DettagliMetodi e Modelli per l Ottimizzazione Combinatoria Il problema del flusso di costo minimo
Metodi e Modelli per l Ottimizzazione Combinatoria Il problema del flusso di costo minimo L. De Giovanni G. Zambelli 1 Problema del flusso a costo minimo Il problema del flusso a costo minimo é definito
DettagliLEZIONE 23. Esempio 23.1.3. Si consideri la matrice (si veda l Esempio 22.2.5) A = 1 2 2 3 3 0
LEZIONE 23 231 Diagonalizzazione di matrici Abbiamo visto nella precedente lezione che, in generale, non è immediato che, data una matrice A k n,n con k = R, C, esista sempre una base costituita da suoi
DettagliCorso di Calcolo Numerico
Corso di Calcolo Numerico Dottssa MC De Bonis Università degli Studi della Basilicata, Potenza Facoltà di Ingegneria Corso di Laurea in Ingegneria Meccanica Corso di Calcolo Numerico - Dottssa MC De Bonis
DettagliComparatori. Comparatori di uguaglianza
Comparatori Scopo di un circuito comparatore é il confronto tra due codifiche binarie. Il confronto può essere effettuato per verificare l'uguaglianza oppure una relazione d'ordine del tipo "maggiore",
DettagliFunzioni continue. ) della funzione calcolata in x 0, ovvero:
Funzioni continue Dal punto di vista intuitivo dire che una funzione è continua in un intervallo è come dire che nel disegnare il suo grafico non stacchiamo mai la penna dal foglio. Scriviamo adesso la
DettagliFunzione reale di variabile reale
Funzione reale di variabile reale Siano A e B due sottoinsiemi non vuoti di. Si chiama funzione reale di variabile reale, di A in B, una qualsiasi legge che faccia corrispondere, a ogni elemento A x A
DettagliParte 2. Determinante e matrice inversa
Parte. Determinante e matrice inversa A. Savo Appunti del Corso di Geometria 013-14 Indice delle sezioni 1 Determinante di una matrice, 1 Teorema di Cramer (caso particolare), 3 3 Determinante di una matrice
DettagliLE FUNZIONI A DUE VARIABILI
Capitolo I LE FUNZIONI A DUE VARIABILI In questo primo capitolo introduciamo alcune definizioni di base delle funzioni reali a due variabili reali. Nel seguito R denoterà l insieme dei numeri reali mentre
DettagliRappresentazione delle informazioni
Rappresentazione delle informazioni Abbiamo informazioni (numeri, caratteri, immagini, suoni, video... ) che vogliamo rappresentare (e poter elaborare) in un calcolatore. Per motivi tecnologici un calcolatore
DettagliMetodi statistici per l economia (Prof. Capitanio) Slide n. 9. Materiale di supporto per le lezioni. Non sostituisce il libro di testo
Metodi statistici per l economia (Prof. Capitanio) Slide n. 9 Materiale di supporto per le lezioni. Non sostituisce il libro di testo 1 TEST D IPOTESI Partiamo da un esempio presente sul libro di testo.
DettagliAnalisi di Protocolli
Analisi di Protocolli Elenco di protocolli d accesso I principali protocolli di accesso si possono dividere in:. protocolli deterministici (accesso ordinato);. protocolli ad accesso casuale (o a contesa).
DettagliLezione 9: Cambio di base
Lezione 9: Cambio di base In questa lezione vogliamo affrontare uno degli argomenti piu ostici per lo studente e cioè il cambio di base all interno di uno spazio vettoriale, inoltre cercheremo di capire
DettagliElementi di Psicometria con Laboratorio di SPSS 1
Elementi di Psicometria con Laboratorio di SPSS 1 29-Analisi della potenza statistica vers. 1.0 (12 dicembre 2014) Germano Rossi 1 germano.rossi@unimib.it 1 Dipartimento di Psicologia, Università di Milano-Bicocca
DettagliFunzioni funzione dominio codominio legge argomento variabile indipendente variabile dipendente
Funzioni In matematica, una funzione f da X in Y consiste in: 1. un insieme X detto dominio di f 2. un insieme Y detto codominio di f 3. una legge che ad ogni elemento x in X associa uno ed un solo elemento
DettagliSlide Cerbara parte1 5. Le distribuzioni teoriche
Slide Cerbara parte1 5 Le distribuzioni teoriche I fenomeni biologici, demografici, sociali ed economici, che sono il principale oggetto della statistica, non sono retti da leggi matematiche. Però dalle
DettagliESERCIZI DI ALGEBRA LINEARE E GEOMETRIA
ESERCIZI DI ALGEBRA LINEARE E GEOMETRIA Francesco Bottacin Padova, 24 febbraio 2012 Capitolo 1 Algebra Lineare 1.1 Spazi e sottospazi vettoriali Esercizio 1.1. Sia U il sottospazio di R 4 generato dai
DettagliElementi di informatica
Elementi di informatica Sistemi di numerazione posizionali Rappresentazione dei numeri Rappresentazione dei numeri nei calcolatori rappresentazioni finalizzate ad algoritmi efficienti per le operazioni
DettagliConvertitori numerici in Excel
ISTITUTO DI ISTRUZIONE SUPERIORE G. M. ANGIOY CARBONIA Convertitori numerici in Excel Prof. G. Ciaschetti Come attività di laboratorio, vogliamo realizzare dei convertitori numerici con Microsoft Excel
DettagliEsempi di algoritmi. Lezione III
Esempi di algoritmi Lezione III Scopo della lezione Implementare da zero algoritmi di media complessità. Verificare la correttezza di un algoritmo eseguendolo a mano. Imparare a valutare le prestazioni
DettagliFUNZIONI CONVESSE. + e x 0
FUNZIONI CONVESSE Sia I un intervallo aperto di R (limitato o illimitato) e sia f(x) una funzione definita in I. Dato x 0 I, la retta r passante per il punto P 0 (x 0, f(x 0 )) di equazione y = f(x 0 )
DettagliCorrispondenze e funzioni
Corrispondenze e funzioni L attività fondamentale della mente umana consiste nello stabilire corrispondenze e relazioni tra oggetti; è anche per questo motivo che il concetto di corrispondenza è uno dei
DettagliFunzioni. Parte prima. Daniele Serra
Funzioni Parte prima Daniele Serra Nota: questi appunti non sostituiscono in alcun modo le lezioni del prof. Favilli, né alcun libro di testo. Sono piuttosto da intendersi a integrazione di entrambi. 1
DettagliMatematica e Statistica
Matematica e Statistica Prova d esame (0/07/03) Università di Verona - Laurea in Biotecnologie - A.A. 0/3 Matematica e Statistica Prova di MATEMATICA (0/07/03) Università di Verona - Laurea in Biotecnologie
DettagliIl valore assoluto. F. Battelli Università Politecnica delle Marche, Ancona. Pesaro, Precorso di Analisi 1, 22-28 Settembre 2005 p.
Il valore assoluto F Battelli Università Politecnica delle Marche Ancona Pesaro Precorso di Analisi 1 22-28 Settembre 2005 p1/23 Il valore assoluto Si definisce il valore assoluto di un numero reale l
Dettaglirisulta (x) = 1 se x < 0.
Questo file si pone come obiettivo quello di mostrarvi come lo studio di una funzione reale di una variabile reale, nella cui espressione compare un qualche valore assoluto, possa essere svolto senza necessariamente
DettagliLa variabile casuale Binomiale
La variabile casuale Binomiale Si costruisce a partire dalla nozione di esperimento casuale Bernoulliano che consiste in un insieme di prove ripetute con le seguenti caratteristiche: i) ad ogni singola
DettagliElementi di Psicometria con Laboratorio di SPSS 1
Elementi di Psicometria con Laboratorio di SPSS 1 10-Il test t per un campione e la stima intervallare (vers. 1.1, 25 ottobre 2015) Germano Rossi 1 germano.rossi@unimib.it 1 Dipartimento di Psicologia,
DettagliEsponenziali elogaritmi
Esponenziali elogaritmi Potenze ad esponente reale Ricordiamo che per un qualsiasi numero razionale m n prendere n>0) si pone a m n = n a m (in cui si può sempre a patto che a sia un numero reale positivo.
DettagliIndice. 1 Introduzione alle Equazioni Differenziali 1 1.1 Esempio introduttivo... 1 1.2 Nomenclatura e Teoremi di Esistenza ed Unicità...
Indice 1 Introduzione alle Equazioni Differenziali 1 1.1 Esempio introduttivo............................. 1 1.2 Nomenclatura e Teoremi di Esistenza ed Unicità.............. 5 i Capitolo 1 Introduzione
DettagliLa distribuzione Normale. La distribuzione Normale
La Distribuzione Normale o Gaussiana è la distribuzione più importante ed utilizzata in tutta la statistica La curva delle frequenze della distribuzione Normale ha una forma caratteristica, simile ad una
DettagliInformatica grafica e Multimedialità. 4 Immagini grafiche
Immagini raster e vettoriali Le immagini grafiche si distinguono in due classi differenti: immagini raster e immagini vettoriali. Le immagini raster, dette anche pittoriche o pixel-oriented, dividono l
DettagliGrafico qualitativo di una funzione reale di variabile reale
Grafico qualitativo di una funzione reale di variabile reale Mauro Saita 1 Per commenti o segnalazioni di errori scrivere, per favore, a: maurosaita@tiscalinet.it Dicembre 2014 Indice 1 Qualè il grafico
DettagliUn modello matematico di investimento ottimale
Un modello matematico di investimento ottimale Tiziano Vargiolu 1 1 Università degli Studi di Padova Liceo Scientifico Benedetti Venezia, giovedì 30 marzo 2011 Outline 1 Investimento per un singolo agente
DettagliAnno 3. Classificazione delle funzioni
nno 3 Classificazione delle funzioni 1 Introduzione In questa lezione affronteremo lo studio delle principali proprietà delle funzioni, imparando a classificarle e a compiere alcune operazioni su esse.
DettagliAPPLICAZIONI LINEARI
APPLICAZIONI LINEARI 1. Esercizi Esercizio 1. Date le seguenti applicazioni lineari (1) f : R 2 R 3 definita da f(x, y) = (x 2y, x + y, x + y); (2) g : R 3 R 2 definita da g(x, y, z) = (x + y, x y); (3)
DettagliStrutturazione logica dei dati: i file
Strutturazione logica dei dati: i file Informazioni più complesse possono essere composte a partire da informazioni elementari Esempio di una banca: supponiamo di voler mantenere all'interno di un computer
DettagliMATEMATICA DEL DISCRETO elementi di teoria dei grafi. anno acc. 2009/2010
elementi di teoria dei grafi anno acc. 2009/2010 Grafi semplici Un grafo semplice G è una coppia ordinata (V(G), L(G)), ove V(G) è un insieme finito e non vuoto di elementi detti vertici o nodi di G, mentre
DettagliNote del corso di Calcolabilità e Linguaggi Formali - Lezione 6
Note del corso di Calcolabilità e Linguaggi Formali - Lezione 6 Alberto Carraro 30 novembre DAIS, Universitá Ca Foscari Venezia http://www.dsi.unive.it/~acarraro 1 Funzioni Turing-calcolabili Finora abbiamo
DettagliAnno 4 Grafico di funzione
Anno 4 Grafico di funzione Introduzione In questa lezione impareremo a disegnare il grafico di una funzione reale. Per fare ciò è necessario studiare alcune caratteristiche salienti della funzione che
DettagliAlcuni probelmi risolti
Alcuni probelmi risolti Esercizio 1: Svolgere l esempio 3 a p.115 del testo. Esercizio (Consideriamo nuovamente i dati dell esempio 3 p. 115 del testo.) Il prezzo P unitario ottenuto da un impresa nella
DettagliCodifica di sorgente. esempio di sorgente con memoria
Codifica di sorgente esercitazione su sorgenti markoviane 1 esempio di sorgente con memoria Esempio di sorgente con memoria markoviana a due stati NB: per la simmetria del sistema, i simboli sono equiprobabili
DettagliFunzioni con dominio in R n
0.1 Punti e vettori di R n Politecnico di Torino. Funzioni con dominio in R n Nota Bene: delle lezioni. Questo materiale non deve essere considerato come sostituto Molto spesso risulta che una quantita
DettagliFUNZIONE REALE DI UNA VARIABILE
FUNZIONE REALE DI UNA VARIABILE Funzione: legge che ad ogni elemento di un insieme D (Dominio) tale che D R, fa corrispondere un elemento y R ( R = Codominio ). f : D R : f () = y ; La funzione f(): A
DettagliStatistica. Lezione 6
Università degli Studi del Piemonte Orientale Corso di Laurea in Infermieristica Corso integrato in Scienze della Prevenzione e dei Servizi sanitari Statistica Lezione 6 a.a 011-01 Dott.ssa Daniela Ferrante
Dettagli