Appunti di Teoria dell Informazione

Transcript

1 Apput d Teora dell Iformazoe Flppo Meo 9 maggo 2012 Idce Dat tecc 1 1 Codc d sorgete B-LV Codce d Shao-Fao Rcerca del codce ottmo Codce d Huffma Rcerca del codce uversale Codce multomale LV-B Famgle complete Codce d Tustall Codce d Lempel-Zv (LZ Codce d Lempel-Zv-Welch (LZW Codce d Burrows-Wheeler LV-LV B-B Complesstà d Kolmogorov Codc d caale Lmtazo astotche Codc algebrc Codce d Hammg Codce BCH Codc d Reed-Müller Codc cclc Codce d Reed-Solomo Codc covolutv Codc segret Cfraro d Vgeère Itroduzoe all RSA Complesstà ell ambto della crttografa Quest apput vegoo dstrbut as-s secodo la Creatve Commos Attrbuto-NoCommercal-ShareAlke 3.0 Uported Lcese. Per evetual suggermet o correzo scrvetem a fsttesla@hotmal.t.

2 Dat tecc Corso d laurea: Iformatca magstrale Nome completo: Teora dell Iformazoe, Crttografa e Complesstà Docete: Prof. Agosto Dover CFU: 9 Modaltà d esame: Orale, su apputameto 1 Codc d sorgete L obettvo è codfcare u formazoe geerata da u testo (sorgete el modo pù compatto possble, seza preoccuparc d error o emc, qud lo scopo è la compressoe. Avremo due alfabet: A = {a 1,..., a k } prmaro (del testo co k lettere e B = {b 1,..., b D } secodaro (del codce d sorgete co D lettere. Le famgle d codc d sorgete soo 4: B-LV, LV-B, B-B, LV-LV. «B» sta per «blocco» e «LV» sta per «lughezza varable». Le sgle della coppa dcao la corrspodeza tra elemet del testo ed elemet del codce d sorgete. Ad esempo l ASCII è B-B, metre l codce Morse è B-LV. U dea chave per comprmere è sfruttare la probabltà d emssoe delle lettere da parte della sorgete. 1.1 B-LV Defzoe 1.1. U codce B-LV è ua fuzoe ϕ: A B +. Gl elemet d ϕ(a s dcoo parole d codce. U codce ϕ può essere esteso alle strghe co la ˆϕ: A B, ˆϕ(a 1 a := ϕ(a 1 ϕ(a. U codce ϕ s dce uvocamete decodfcable (UD se e solo se ˆϕ è ettva. U codce s dce a prefsso se essua sua parola d codce è prefsso d u altra. Il rtardo d decodfca è l umero massmo d caratter aggutv del codce d sorgete da leggere per compere u passo d decodfca. U codce s dce stataeamete decodfcable se l rtardo d decodfca è ullo. Proposzoe 1.2. Se u codce è a prefsso (duque ache UD allora è stataeamete decodfcable. Esstoo codc UD o a prefsso cu l rtardo d decodfca o è troppo svataggoso rspetto alla maggore compressoe che offroo, se cofrotat co codc UD a prefsso equvalet. valore D ora po dchamo co «l» l valore ϕ(a, co «l» la massma tra tal lughezze e co «α» l k D l. Teorema 1.3: Dsuguaglaza d Kraft-McMlla. Se u codce è UD allora k D l 1. Dmostrazoe. Sa «N(, h» l umero d strghe d A d lughezza a cu corrspode ua strga d B d lughezza h. Se u codce è UD allora N(, h D h. α è formata da k added, cu l geerco addedo è ella forma D (lj 1 + +lj, co j {1,..., k} dc. I α c possoo essere added d valore uguale, fatt basta che abbao la stessa somma come espoete. È come se co α osservassmo tutte le strghe d A. Allora possamo scrvere che 1

3 : α = l l N(, D D D : α l α 1, cu l ultmo passaggo dscede D dalle propretà dell espoezale. Questo teorema ha come cosegueze la suffceza de codc a prefsso (Lemma 1.4 e l Teorema d Shao (Teorema 1.9. Lemma 1.4. Dato u codce UD, e esste uo a prefsso co la stessa lughezza. Dmostrazoe. Per semplctà assumamo che l 1 l, seza perdta d geeraltà. Cosderamo l albero D-aro d lughezza l completo. Partedo da = 1 e proseguedo fo a =, seguo l albero per l pass scegledo sempre l ramo lbero pù alto e al terme del cammo pogo l etchetta «a». Se l codce era UD lo spazo è suffcete, fatt per og a s usao D l l od, per u totale d D l D l od. 1 Sao ϕ 1 e ϕ 2 codc a prefsso per lo stesso alfabeto prmaro A. Qual è l mglore? Qu etra goco la probabltà d emssoe d u smbolo, che dcheremo co «p». A og alfabeto è qud assocata ua dstrbuzoe d probabltà P := (p 1,..., p k. Defzoe 1.5. La lughezza meda d u codce è EL := k p l. Naturalmete voglamo che la lughezza meda sa more possble. Defzoe 1.6. L etropa d ua dstrbuzoe probabltà P è H(P := k p log p. Se ua p è ulla, per cotutà s poe p log p = 0. La base del logartmo è dfferete (purché coerete col resto de calcol, ma la scelta tpca è D. L etropa è ua msura della cofusoe ella sorgete. I geerale l etropa è alta quado le probabltà soo( sml, metre è bassa quado soo dssml, ossa uo o pù caratter prevalgoo. Il valore 1 massmo è H k,..., 1 k = log D k. k volte Defzoe 1.7. Sao P e Q due dstrbuzo d probabltà sullo stesso alfabeto. La dvergeza tra P e Q è D(P Q := k p log p q. Cosderado D(P Q otamo che: la dvergeza è asmmetrca rspetto a suo argomet; se P = Q è ulla; se esstoo p e q tal che p tede a 1 e q tede a 0, l loro addedo è u umero molto grade postvo; vceversa se p tede a 0 e q tede a 1, l loro addedo è u umero molto grade egatvo. 2

4 Estedamo e cas lmte poedo: 0 log per cotutà; ( 0 log per cotutà; 0 log per buo seso (o ha seso che accada. Proposzoe 1.8. D(P Q 0. Dmostrazoe. Cosderamo e come base del logartmo, per cu è facle segure la va aaltca. S può dmostrare che vale per qualsas base attraverso ua dmostrazoe combatora pù dffcle. Cofrotado le fuzo log z e 1 1 z abbamo che z 0: log z 1 1 z. Allora D(P Q = p log p q ( p 1 q = p p =1 q =1 Teorema 1.9: Teorema d Shao. Se u codce è UD allora EL H(P. Dmostrazoe. Codce UD α 1 log α 0. Defsco ua dstrbuzoe artfcale Q = ( D l 1 α,..., D l k α. Allora = 0. D(P Q = = p log p α D = p (log p + log α + l = l p log p + log α p + p l = H(P + log α + EL H(P + log α + EL 0 EL H(P log α H(P. 0 Esstoo cas cu EL = H(P, ossa quado α = 1, ache se comuque o s può fare d meglo Codce d Shao-Fao Il codce d Shao-Fao parte dal calcolo della lughezza delle parole d codce, fssadola par a l = log D p. Po co u algortmo greedy vee popolato l albero, sapedo che l posto s trova sempre perché EL = log D p < log D p + 1 log D p = log D p + ξ co 0 ξ < 1 D l = D log D p ξ = p } D {{ ξ } 1. <1 p log D p = p ( log D p + ξ = p log D p + p ξ < H(P + 1. <1 Questo c dce che l codce ottmo s può cercare tra H(P e H(P + 1, fatt geerale Shao-Fao o è ottmo. Defzoe

5 := EL Il rapporto R s dce tasso d compressoe e corrspode alla lughezza meda per carattere d u codce su u alfabeto A. U codce l cu tasso tede a H(P per che tede a s dce astotcamete ottmo. Esempo Sa A = {a, b} co P = ( 3 4, 4 1, da cu H(P = 0,81. Applcado Shao-Fao otteamo l a = 1, l b = 2 ed EL = 1,25. Ivece d cosderare A predamo A 2 = {aa, ab, ba, bb} e calcolamo P 2 u ottca d processo beroullao (la lettera appea uscta o flueza la successva: P 2 = ( 9 16, 3 16, 3 16, Applcado d uovo Shao-Fao otteamo EL 2 = 1,93. Noostate l apparete peggorameto, ora l tasso è R 2 = 0,97. Pù avat dmostreremo che Shao-Fao è astotcamete ottmo. Sao X e Y varabl aleatore rspettvamete co valor {x 1,..., x k } e {y 1,..., y h } e dstrbuzoe d probabltà P = (p 1,..., p k e Q = (q 1,..., q h. Idchamo co «p j» la probabltà coguta P(X = x Y = y j. Avremo kh evet d questo tpo, la cu sommatora è acora 1, qud possamo cosderare la dstrbuzoe d probabltà coguta «X Y». La sua etropa è H(X Y = k h p j log p j. Ipotzzamo qud che X e Y sao dpedet, ossa p j = p q j, allora H(X Y = = j=1 h j=1 q j =1 h p q j log(p q j = ( p log p + } {{ } =H(P j=1 p =1 ( h p j q j log p j=1 j=1 h p q j log q j = h q j log q j = H(P + H(Q, j=1 } {{ } =H(Q oppure, co u leggero abuso d otazoe, H(X Y = H(X + H(Y. I geerale sao X 1,..., X v.a. dpedet sullo stesso alfabeto e co la stessa dstrbuzoe d probabltà P. Allora H(X 1 X = H(P. Defzoe Ua sorgete d formazoe può essere descrtta da ua sequeza d v.a. X 1, X 2,... a valor su uo stesso alfabeto. S dce stazoara se tutte le dstrbuzo d probabltà soo ugual e s dce seza memora se u smbolo o dpede essu modo dal precedete. Se ua sorgete d formazoe possede etrambe queste propretà, le sue v.a. soo dpedet e s dce ache beroullaa. Codfchamo co u codce UD -uple proveet da ua sorgete d formazoe stazoara e seza memora, qud abbamo u alfabeto A e ua dstrbuzoe d probabltà P. EL H(P = H(P R H(P, che è la versoe sulle -uple del Teorema d Shao. Applcado Shao-Fao otteamo EL < H(P + 1 = H(P + 1 R < H(P + 1. Da questa dsequazoe s vede che Shao-Fao tede astotcamete all etropa Rcerca del codce ottmo Codce d Huffma Per la rcerca del codce ottmo, ossa co EL mma, assumamo che p 1 p k, seza perdta d geeraltà. Defzoe

6 Sa ϕ u codce su u alfabeto A co dstrbuzoe d probabltà P. La gemazoe d ϕ cosste sostture ell alfabeto u smbolo a co due uov smbol a e a tal che p +p = p. Nell albero d ϕ, la fogla a dveta l odo padre delle uove fogle a e a. Il uovo alfabeto à = {a 1,..., a, a,..., a k} vee chamato sorgete estesa. L operazoe versa della gemazoe vee detta taglo. Sccome EL = c+l p e ẼL = c+(l +1(p +p, co c costate che raggruppa gl added o covolt, allora seguto alla gemazoe la lughezza meda è aumetata d ẼL EL = p. Per costrure l codce ottmo, osservamo alcu fatt: Lemma U codce ottmo esste. Dmostrazoe. Per dvduarlo basta u algortmo espoezale che costrusce tutt codc sull albero D-aro d lughezza k No esste codce ottmo cu p > p j l > l j. Dmostrazoe. Suppoamo per assurdo che u smle codce ottmo ϕ essta, per qualche e j. Scambamo el suo albero a e a j, otteedo così u uovo codce ϕ. EL = c + p j l j + p l e EL = c + p l j + p j l (c costate che raggruppa gl added o covolt, qud EL EL = (l j l (p j p > 0 co la mmaltà d EL. 2. Esste u codce ottmo cu l 1 l k. Dmostrazoe. Suppoamo che l > l j per qualche, j co < j e che l codce sa ottmo. Scambamo el suo albero a e a j e vedamo che: per p > p j la lughezza meda cala ; qud l uca soluzoe è che p = p j. 3. Esste u codce ottmo tale che el suo albero a k 1 e a k soo fogle sorelle al lvello pù basso (formao ua forchetta. Dmostrazoe. Cosderamo vare casstche: a k è fglo uco al lvello pù basso: perché o sarebbe u codce ottmo; a k è fogla sorella al lvello pù basso co a, per k 1, e a k 1 è a u lvello superore: o perché l codce o era ottmo, oppure p = p k 1 e qud basta scambare a co a k 1 per otteere u codce ottmo co la propretà desderata; come l caso precedete, solo che a k 1 è allo stesso lvello: basta scambare a co a k 1 per otteere u codce ottmo co la propretà desderata. 4. Se gemo u codce ottmo su u odo assocato a u smbolo che geera due caratter co probabltà mmale ella sorgete estesa, allora l codce per la sorgete estesa così otteuto è ottmo. Dmostrazoe. Sa 1 l albero ottmo d parteza. A u smbolo a sosttusco a e a, co probabltà mmale el uovo alfabeto, otteedo 2. Suppoamo per assurdo che o sa ottmo, ma allora esste u ottmo 3 che, taglado } a e a, m porta u albero 4 che ha d uovo a. Vale che EL2 EL1 = EL3 EL4 = p EL4 < EL1 co la mmaltà d 1. 3 ottmo 5

7 Corollaro Se A = {a 1, a 2 } l codce ottmo è ϕ(a 1 = 0, ϕ(a 2 = 1. Dmostrazoe. Dscede partcolare dal puto 3. de Lemm precedet. Pseudocodce 1.16: Huffma Codfca. Iput: A k = {a 1,..., a k }, P k = {p 1,..., p k }. := k; F := ew Stack; whle ( >= 2 do Scegl a, b A tal che p (a e p (b sao mme P ; A 1 := ( A {a, b} {α }; // α uovo smbolo { p (s s A {a, b} P 1(s := ; // per og s A 1 p (a + p (b s = α F.push(α, a, b; --; od ϕ(α 2 := ""; whle (!F.empty( do (α, β, γ := F.pop(; ϕ(β := ϕ(α "0"; ϕ(γ := ϕ(α "1"; od Esempo Prma fase: A 5 = {a, b, c, d, e} P 5 = (20, 15, 10, 5, 3 α 5 d e A 4 = {a, b, c, α 5 } P 4 = (20, 15, 10, 8 α 4 c α 5 A 3 = {a, b, α 4 } P 3 = (20, 15, 18 α 3 b α 4 A 2 = {a, α 3 } P 2 = (20, 33 α 2 a α 3 A 1 = {α 2 } P 1 = (53 Secoda fase: ϕ(α 2 = ε ϕ(a = 0 ϕ(α 3 = 1 ϕ(b = 10 ϕ(α 4 = 11 ϕ(c = 110 ϕ(α 5 = 111 ϕ(d = 1110 ϕ(e = C soo due mod per mpegare l codce d Huffma: Scadsco l fle, calcolo P, costrusco l albero e lo memorzzo, comprmo l fle. La dmesoe fale potrebbe essere pealzzata dall albero o compresso coteuto el fle. Fsso u albero e uso sempre quello, scofado ella sematca. S comprmoo ottmalmete solo fles che rspettao la frequeza Rcerca del codce uversale Codce multomale Defzoe Sao X ua v.a. co valor {x 1,..., x k } e dstrbuzoe d probabltà P = (p 1,..., p k e Y ua v.a. geerca. Allora l etropa codzoata d Y X (legg «Y data X» vee defta come H(Y X := k ( P(X = x H(Y X = x. 6

8 Se Y è ua v.a. co valor {y 1,..., y h } e dstrbuzoe ( d probabltà Q = (q 1,..., q h, l etropa codzoata vee ache scrtta come H(Y X = k p h q j log q j, dove q j = p j, qud p h p j H(Y X = p log p j = j=1 p p ( h = H(X Y log p j=1 j=1 ( h p j log p j j=1 p j =p j=1 = H(X Y H(X, h p j log p = e smlmete H(X Y = H(X Y H(Y. Defzoe La mutua formazoe d due v.a. X e Y vee defta come h I(X Y := D(P XY P X P Y = p j log p j. p q j j=1 Essedo ua dvergeza, varrà sempre I(X Y 0. Cosderamo due cas estrem: X e Y dpedet p j = p q j I(X Y = 0; { 0 j X = Y p j = p = j I(X Y = p log p p 2 = p log p = H(X. Per l secodo puto, l etropa vee ache chamata autoformazoe. Eserczo I(X Y = H(Y H(Y X = H(X H(X Y. Soluzoe. Rcordado che q j = pj p, I(X Y = = h j=1 j=1 p j log p j p q j = h p j log q j h j=1 h log q j j=1 p j log q j q j = p j =q j = H(Y H(Y X. La secoda uguaglaza s ottee per smmetra. Co l solto A = {a 1,..., a k }, cosderamo -uple e le raggruppamo class d permutazo dette tp. Og tpo j è detfcato uvocamete da ua k-upla ( j1,..., jk, dove k j = e gl j soo le occorreze del smbolo a elle -uple del tpo. Se x A possamo ache deotare l suo tpo co «[x]». I tp soo ( +k 1, ( abbrevato co «γ» (beché effett dpeda ache da k, che però è fssato. La! cardaltà del tpo j è := (coeffcete multomale. j1,..., jk j1! jk! Osservamo che, oostate l umero d -uple A sa k, espoezale rspetto a, s dmostra (Eserczo 1.21 che γ ( + 1 k, qud vece l umero d tp cresce polomalmete. Come blacameto, qualche tpo dovrà crescere espoezalmete. Eserczo γ ( + 1 k. Soluzoe. Per duzoe su k: 7

9 ( k = 1 = ( + k ( + k! k > 1 = = + k ( + k 1 d. (!k! k k + 1 ( + 1 k < ( + 1 k+1. Il codce multomale s basa su questa dea: data x A, ϕ(x = ϕ p (xϕ s (x. ϕ p è l prefsso, d lughezza fssa, che dvdua l tpo; ϕ s è l suffsso, d lughezza varable a secoda della cardaltà del tpo, che detfca la strga all tero del tpo selezoato. ( Sapedo che ϕ p (x = log D γ e ϕ s (x = log D j1,..., jk possamo calcolare R = EL = qud esamamo separatamete l prefsso log D γ che è u ftesmo; P (x ϕ(x P (x ϕ p (x P (x ϕ s (x x A x A = x A +, x A P (x =1 < log D γ + 1 log D( + 1 k + 1 = k log D( , l suffsso, che dpede dal tpo. All tero d u tpo le -uple hao la stessa probabltà (ell potes d ua sorgete beroullaa e la codfca ha la stessa lughezza. Idcheremo co «T j» la lughezza delle -uple d T j e co «P(T j» l valore x T j P (x = P (x T j. P (x ϕ s (x x A = γ j=1 dove l secodo addedo è u ftesmo. P(T j log D T j < γ j=1 P(T j log D T j + 1, (1.1 Itroducamo ua v.a. fttza J a valor {1,..., γ } co probabltà P(J = j = P(T j. Allora H(X J = γ j=1 P(J = j H(X J = j. =P(T j Se J = j, le -uple soo determate, tutte dello stesso tpo, ogua permutazoe delle altre ed equprobabl, qud la dstrbuzoe è uforme e la sua etropa è massma, par a log D T j, da cu H(X J = γ P (x T j log D T j, uguale al umeratore del prmo addedo della (1.1. Sappamo ache che j=1 H(X J = H(X + H(J X =H(X =0 H(J H(X, 0 dove l secodo addedo è ullo perché, fssata la -upla, J è determata. Allora rpartedo dalla fe della (1.1 s ottee γ j=1 P(T j log D T j Rmotamo prefsso e suffsso e avremo R = EL astotcamete ottmo e uversale. + 1 H(X + 1. < 2 + k log D (+1 ftesm + H(P, qud questo è u codce 8

10 1.2 LV-B L dea è quella d avere u vocabolaro d parole emesse dalla sorgete. Defzoe Ua famgla d messagg M A + è u seme M := {m 1,..., m t }. La lughezza meda dell put è EN := t P(m m. M s dce esaurete se og sequeza opportuamete luga d caratter d A ha almeo u prefsso M. M s dce a prefsso se essu suo messaggo è prefsso d u altro. M s dce completa se è esaurete e a prefsso. La codfca per ua parola del vocabolaro è ua parola d codce d lughezza fssa l := log D t. Il tasso d compressoe dveta R := l EN. Per questo cercheremo d costrure codc co EN grade. Nel caso d ua famgla o a prefsso, s cerca d codfcare la parola pù luga, troducedo u rtardo d codfca. Tuttava rspetto a codc B-LV l asseza d questa propretà o è così grave. D ora po dchamo co la lughezza del messaggo m e co la massma tra tal lughezze. Teorema 1.23: Cotrodsuguaglaza d Kraft. Se ua famgla M è esaurete allora t k 1. Se oltre partcolare è completa allora vale l uguaglaza. Dmostrazoe. Cosderamo l albero k-aro completo d lughezza, le cu fogle soo strghe d A, ogua delle qual avete u prefsso M. m è prefsso d k strghe d A, evetualmete codvse t co altr messagg. Qud k k t k 1. Se oltre M è a prefsso allora o c soo strghe d A codvse tra messagg, qud vale l uguaglaza Famgle complete Codce d Tustall Cosdero uo tra messagg pù lugh e lo scompogo ma. Allora ache ma 1,..., ma k M perché M è esaurete e perché m o può coteere messagg (M è a prefsso. Taglado corrspodeza del odo m ottego u uovo codce completo, ma qud posso rcomcare, fché arrvo al codce co M 0 = {a 1,..., a k } e albero T 0. Questo fa capre che tutte le famgle complete s ottegoo da T 0 medate ua gemazoe che rmpazza u odo m co ma 1,..., ma k (chamata regola «R». Tutt gl alber T j otteut co j applcazo della regola R hao k + j(k 1 fogle. Ua sorgete può essere vsta sa come sorgete d A sa d M. Allora a ua famgla d messagg geerata co j applcazo d R assocamo ua dstrbuzoe d probabltà S j, cu og s è l prodotto delle probabltà de caratter che compogoo m. Calcolamo la dffereza tra due lughezze mede cosecutve, solado l messaggo m su cu avvee la gemazoe: EN j = P(µ µ + P(m m, µ M µ m 9

11 da cu EN = P(m. EN j+1 = P(µ µ + µ M µ m = P(µ µ + µ M µ m P(ma ma = P(mP(a ( m + 1 = = P(µ µ + P(m( m + 1, µ M µ m Lemma H(S j = H(P EN j. Dmostrazoe. Per duzoe su j. B S 0 = P e EN 0 = 1. P H(S j+1 = µ M j+1 µ ma P(µ log P(µ P(ma log P(ma } {{ } espaso d seguto P(mP(a ( log P(m + log P(a = H(S j+1 = P(mP(a log P(m P(mP(a log P(a = P(m log P(m P(a P(mH(P } {{ } =1 P(µ log P(µ P(m log P(m + P(mH(P = µ M j+1 µ ma } {{ } =H(S j = H(S j + P(mH(P d. = H(P EN j + P(mH(P = = H(P ( EN j + P(m = H(P EN j+1. Torado a esamare l tasso, abbamo che R j = log D Mj H(P H(S j. I geerale 0 H(S j log M j, qud R j log D Mj log D M j H(P H(P, che è la forma LV-B del teorema d Shao. Se la regola R è applcata a u odo co probabltà massma, la chameremo regola d Tustall e la scrveremo come «R T». Lemma Sa T j u albero otteuto co j applcazo d R. Allora esste ua sequeza d j applcazo d R su messagg m 1,..., m j tale che P(m 1 P(m j. Dmostrazoe. Ua volta costruto T j basta rordare le applcazo d R modo tale da rspettare la propretà. S può sempre fare perché la probabltà d u sottoalbero è strettamete more d quella del odo a cu appartee. Ua sequeza co questa propretà è detta regolare. Possamo qud cocetrarc sulle famgle geerate da sequeze regolar. Lemma Sa T u albero otteuto da T 0 co ua sequeza regolare d j applcazo d R. Se u 10

12 passo o è stata usata R T allora esste u albero T otteuto da T 0 co j applcazo regolar tale che EN(T > EN(T. Dmostrazoe. Sa u + 1 l prmo passo cu o ho usato R T. Sao m ed messagg T u tal che P(m > P(, co odo gemato. Poché T derva da ua sequeza regolare, m è acora ua fogla T. Al passo u + 1 gemo su m e rpeto el sottoalbero d m le applcazo d R che prma avevo fatto el sottoalbero d. Allora EN(T EN(T = P(m P( > 0 EN(T > EN(T, fatt l uca dffereza o vee recuperata e pass successv, che soo detc etrambe le costruzo. Per l prossmo lemma troducamo alcue otazo: «Π j» sarà max P(m, «π j» sarà m P(m e m M j m M j fe «p» è π 0 = m P(a. L dea è mostrare che per codc d Tustall Π j e π j soo sml : a A Π j Lemma π p. j Dmostrazoe. Per duzoe su j. B Π 0 1 e π 0 = p. P Se T j c era u solo massmo allora Π j+1 < Π j, altrmet Π j+1 = Π j. I geerale Π j+1 Π j. π j+1 = m{π j, Π j p 1,..., Π j p k } = m{π j, Π j p }. Se π j+1 = π j allora Πj+1 π j+1 Πj π j d. 1 p. Altrmet se π j+1 = Π j p allora Πj+1 Π π j+1 j Π jp = 1 p. Corollaro Il codce d Tustall, che s ottee applcado sempre R T, è astotcamete ottmo. Dmostrazoe. M j H(S j = P(m log P(m Π j M j P(m log Π j = log Π j log p log π j. Sccome π j 1 M log π j j log M j allora H(S j log p log M + log M j R j = j log p +log M j H(P, qud all aumetare d j l tasso tede all etropa. Esempo Dato u alfabeto A = {a, b, c} e la sua dstrbuzoe d probabltà P = (p a, p b, p c, co p a > p b p a > p c, costruamo l codce d Tustall: M = {aa, ab, ac, b, c} co EN = 1 + p a ; u codce esaurete ma o a prefsso: M = {a, aa, aaa, b, c} co EN = 1 + p 2 a + p 3 a, fatt S = ( p a (1 p a, p 2 a(1 p a, p 3 a(1 p a, p b, p c. Poché 1 + p 2 a + p 3 a > 1 + p a per p a > , tal caso Tustall o è ottmo. Cò sgfca che rucado alla propretà del prefsso d può fare meglo d Tustall Codce d Lempel-Zv (LZ Abbamo u buffer V dvso due part [1..M 1] e [M..N]. Dato {1,..., M 1}, defamo «L(» come l massmo tero tale che V [.. + L( 1] = V [M.. M + L( 1]. Questo è u baale algortmo d rcerca d sottostrghe quadratco sulla lughezza d mezzo buffer (ma s può ache fare leare. Ioltre defamo «p» come u dce tale che L(p = max{l(1,..., L(M 1} e «L» come L(p. L algortmo d compressoe cosste elle seguet operazo: 11

13 predspogo l buffer co zer ella prma parte e l zo del fle ella secoda; fché l fle o è fto: calcolo p e L; guardo l smbolo x := V [M + L]; memorzzo la trpla L, p, x ; facco uo shft a sstra d L + 1 poszo, facedo etrare u uovo pezzo d fle el buffer. Ache se o abbamo ua famgla d messagg, LZ è LV-B. Msurado lo spazo bts, le compoet delle trple occupao: L {0,..., N M + 1} L = log 2 (2 + N M bt (che deotamo co «l 1»; p {1,..., M 1} p = log 2 (M 1 bt («l 2»; x = 1 bt. Ruscremo qud a comprmere se medamete L + 1 > l 1 + l L > l 1 + l 2. Esempo 1.30: LZ Codfca. Codfchamo la strga co u buffer da bt. buffer L, p, x shft , 1, 1 3 1, 4, 0 2 2, 3, 0 3 3, 2, 0 4 1, 2, 1 2 1, 4, 1 2 Quado m fermo alla fe del fle ho ua cofgurazoe partcolare. La strga codfcata è , qud otamo che questo esempo la strga zale era troppo breve per poter essere compressa. Esempo 1.31: LZ Decodfca. I smbol che escoo dal buffer co lo shft vegoo aggut alla strga decodfcata. buffer L, p, x shft , 1, , 4, , 3, , 2, , 2, , 4,

14 Cò che resta alla fe el buffer vee rversato drettamete ella strga. Quato posso comprmere el caso mglore possble (fle d sol zer? Se predamo u buffer co due 2 log l+1 part d par lughezza uguale a l e u fle lugo f, la dmesoe compressa è crca f l, dove la frazoe rappreseta l rapporto d compressoe. LZ è uversale e l dea è che le strghe frequet vegoo catturate co u uca trpla. S dmostra fatt che LZ tede all etropa, ossa è ottmo. D questo algortmo esste la varate deflate, che prevede d applcare Huffma all output a blocch d LZ, focalzzados sulla compoete L delle trple Codce d Lempel-Zv-Welch (LZW Assumamo d avere ua struttura dat strg table (u vettore d strghe. Pseudocodce 1.32: LZW Codfca. Partamo co ua strg table table vuota. strg := read(; // Suppoamo d lavorare co fles o vuot. whle (c soo caratter do char := read(; f (strg char table the strg := strg char; else wrte(l codce d strg; table.add(strg char; strg := char; f od wrte(l codce d strg; Suppoedo d avere u alfabeto prmaro a 8 bt, possamo decdere d costrure ua strg table da 10 bt. I caratter mategoo l loro codce, metre le coppe, trple,... assumoo u codce ma mao che vegoo scoperte. Esempo 1.33: LZW Codfca. Codfchamo la strga ABAABAAABA. char strg char table wrte table.add strg A B % AB B A % BA A A % AA A B! AB A % ABA A A! AA A % AAA A B! AB A! ABA 259 Il codce LZW è u codce LV-B o a prefsso cu l vocabolaro vee costruto passo per passo. Fatto teressate è che o serve memorzzare la strg table. Pseudocodce 1.34: LZW Decodfca. Partamo co la strg table table co le prme 256 celle rempte co caratter ASCII. 13

15 oc := read(; strg := table[oc]; wrte(strg; whle (c soo caratter do c := read(; strg := table[c]; wrte(strg; ch := strg[0]; table.add(oc ch; oc := c; od Esempo 1.35: LZW Decodfca. Decodfchamo la sequeza d umer (strga 65, 66, 65, 256, 258, 259. c & oc strg & wrte ch table.add 65 A 66 B B 256 AB 65 A A 257 BA 256 AB A 258 AA 258 AA A 259 ABA 259 ABA A 260 AAA Codce d Burrows-Wheeler Il fle vee dvso blocch (ache grad, oguo de qual costturà ua strga «x». Per og x separatamete, s scrvoo le permutazo cclche, le s orda lesscografcamete e le s mette ua matrce quadrata d lato x x. Data ua coloa, posso rcostrure l tera matrce? Co ua qualsas coloa dversa dalla prma, posso otteere modo determstco la prma, che è la versoe ordata d ua qualuque coloa. L ultma coloa, partcolare, è sa la pù lotaa dalla prma, sa quella che la precede. Qud posso calcolare le coppe (ultma, prma, che cocateate alfabetcamete alla prma coloa m forscoo la secoda. Allora posso terare l ragoameto per otteere le trple (ultma, prma, secoda co cu rcostrure la terza, e così va. I fase d decodfca qud c bastao l ultma coloa (che scrveremo come L e l dce d rga cu s trova la strga orgale. p pp pp p Esempo Sa x = ppp. La sua matrce è p p p. p pp pp p p p Partedo dall ultma coloa L = p otteamo subto la prma: p. Le coppe che cosetoo d calcolare p p la secoda coloa soo p, p, pp, p, p. Quado vegoo applcate orde alfabetco alla p??p p??p prma coloa, formao la matrce completa p??p. Iterado co le trple e le quadruple s ottee la p?? pp?? matrce completa. 14

16 Notamo che ell ultma coloa c soo molte rpetzo cotgue, fatto che vee sfruttato ell algortmo d codfca. Pseudocodce 1.37: Burrows-Wheeler Codfca. Sa A l alfabeto prmaro. Abbamo l ultma coloa L come put. Il seguete frammeto è solo la preparazoe per la codfca. for := 1 to L do R[] := dce d L[] A; Porta l R[]-esmo carattere d A poszoe 0 e sposta a destra tutt gl altr; od Graze al frammeto precedete, le lettere probabl starao sempre all zo d A, qud s può creare u codce d Huffma fsso LV-LV Alcu de codc real che abbamo cotrato cougao ua prma parte LV-B co u postprocessg B-LV. Allora possamo costrure u codce LV Tustall B Huffma sfruttado codc ottm delle due tpologe. Il tasso sarà R = EL EN, che è la forma pù geerale. Partedo da u A co dstrbuzoe d probabltà P, applcado j volte Tustall, otterremo u M j co dstrbuzoe S j. Allora R j = EL j EN j = H(S j + ξ EN j qud questo codce tede all etropa. 1.3 B-B LV per qualche 0 ξ < 1 R j = EN j H(P + ξ EN j = H(P + ξ EN j < H(P + 1 EN j, Il codce sarà ua fuzoe ϕ: A B l, qud l tasso è R = l. Se è fssato, affché tutte le -uple possao essere codfcate, deve valere D l k l log D k l = log D k (perché lo voglamo mmo. U codce B-B è solo ua rscrttura, o ua compressoe. Shao o s fermò qu e adò oltre: se accettass qualche errore? Ammetto che ϕ o sa ettva. Sa ψ l versa d ϕ, defta bee dove possble. Defzoe La probabltà d errore «p err» è defta come p err := P ( ψ ϕ(x X. Ammettedo la probabltà d errore, troducamo «C», sottoseme d A coteete le -uple correttamete codfcate. Ioltre passamo a cosderare u tasso semplfcato R := log C, cu rspetto a quello ormale s gora la base del logartmo e s elma la parte estremo superore. Cerco allora l pù pccolo C tale P(C sa alta. La soluzoe s ottee ordado le -uple d A per probabltà decrescete e scegledo l mmo umero d -uple altamete probabl tal che la somma delle loro probabltà sa maggore o uguale a 1 p err, co p err fssata parteza. Sa F = (f 1,..., f k ua dstrbuzoe d probabltà. Partzoamo A tp. Fssamo u tpo T caratterzzato dalle probabltà ( 1,..., k. ( F (T = x T F (x = F ( T x T. F (x = f 1 1 f k k = exp 2 log f. 15

17 Cò vale per og F, partcolare per F = ( 1,..., k, ossa la frequeza del tpo T. Allora ( F (x = exp 2 ( log f = exp 2 f log f = 2 H(F F (T = 2 H(F T 1 T 2 H(F.! Lemma m! m. Dmostrazoe. { m fattor }} { m! m! = ( 1 (m + 1 m! m! m ; < m! m! =! m (m 1 ( + 1! m. m fattor Cosderamo l tpo T caratterzzato da ( 1,..., k, l tpo T j caratterzzato da (m 1,..., m k e la dstrbuzoe F = (f 1,..., f k = ( 1,..., k. T j! m 1! m k! f m1 1 f m k k! F (T j F (T = T j F ( y T F ( x = T 1! k! f 1 1 f k k ( ( 1! = m 1! k! (m1 1 1 m k! (m k k k } {{ } 1 } {{ } 1 = 1! k! m 1! m k! (1+ + k (m1+ +m k } {{ } =1 ( 1 m1 ( k mk ( 1 1 ( k k = 1 F (T j F (T, ossa se uso la probabltà uguale alla frequeza d u tpo T, allora T ha probabltà massma. Allora 1 = γ j=1 F (T j γ F (T ( + 1 k 2 H(F T = = exp 2 ( ( H(F k log( + 1 T T 2 (H(F ξ, co ξ ftesmo. Complessvamete s ha T 2 H(F. Rammetamo che ua v.a. X ha dstrbuzoe bomale se P(X = x = ( x p x (1 p x, co p ]0, 1[. Il valore atteso «µ X» vale p e la varaza «σx 2» vale p(1 p. Lemma 1.40: Dsuguaglaza d Čebyšëv. ε > 0: P ( X µ X ε σ2 X ε 2. Idchamo co «N(a x» la v.a. che rappreseta l umero d occorreze d a ella -upla x. Essa avrà valore atteso p e varaza p (1 p. La v.a. dervata N(a x avrà d cosegueza valore atteso p e varaza p(1 p. Defzoe Sa «δ» ua successoe d umer real postv δ 1, δ 2, δ 3,... tale che lm δ = 0 e che + lm δ = +. Defamo l seme «T» delle -uple d δ-tpche el seguete modo: + T = { x A : : N(a x } p δ. 16

18 Quado δ è pccolo ( è grade, essere δ-tpco sgfca che la frequeza de smbol è crca uguale alla probabltà. parabola ( {}}{ N(a x Čeb. P p > δ p (1 p p (1 p δ 2 = ( δ ( δ, 2 che tede a 0 per che tede a +. Allora P(x / T k 4 1 ( δ 2 e P(x T 1 k 4 1 ( δ 2. Preso u A e l suo T, u tpo T j sta o tutto detro o tutto fuor a T. Sa «I» l seme degl dc de tp clus T. T = T j dsg. = T j 2 H(Fj. Poché se T j T F j P allora j I j I j I T ( + 1 k 2 H(P = 2 (H(P +ξ, co ξ ftesmo. Ioltre vale 2 (H(P ξ T, co ξ ftesmo. Allora complessvamete R = log T H(P = H(P. Questa è la parte dretta del 2º Teorema d Shao. Ache usado u codce B-B co errore o possamo fare meglo dell etropa. 1.4 Complesstà d Kolmogorov Defzoe Sa U u calcolatore uversale (o l terprete d u lguaggo d programmazoe. Se P è u programma per U, deotamo co «P U (» l esecuzoe, co evetuale output, d P su U. La complesstà d Kolmogorov d ua strga x rspetto a U è K U (x := m { P : P U ( = x }. Suppoamo che P sa u programma che geera x, ossa P ( = x. Come facco a capre se è l pù pccolo? Dovre provare Q ( per og Q d lughezza ferore a P, ma o lo posso fare, a causa dell haltg problem. Per colpa d questo problema, della complesstà d Kolmogorov avremo solo ua lmtazoe superore, salvo rarssm cas. L dea è comuque quella d usare la complesstà d Kolmogorov per comprmere. Lemma Se A e B soo due l.d.p. allora x: K A (x K B (x + c AB, dove c AB è ua costate che dpede solo da due lguagg. Dmostrazoe. Suppoamo K B (x = k, ovvero esste u programma P el lguaggo B tale che P B ( = x P = k. So che esste u programma I scrtto A che fa l terprete del lguaggo B, ossa Q programma B, y put: I A (Q, y = Q B ( y. Il programma composto (I, P è u programma A, lugo I + P e che geera x. Allora K A (x I + K B (x. Corollaro Se A e B soo l.d.p. allora KA (x K B (x c, dove c è costate. D ora po astrarremo dal l.d.p., poché è dfferete. Ioltre tutte le «c» deoterao costat sempre dverse e fssamo par alla lughezza della strga x d volta volta cosderata. Defzoe La complesstà d Kolmogorov codzoata d ua strga x è defta come K(x := m { P : P ( = x }. Esempo La strga x = può essere geerata dal programma 17

19 for := 1 to do wrte("01"; od Al posto d l programma seza put avrà l valore 2 forma d strga, metre l programma co la lughezza put avrà semplcemete «/ 2». Qud K(x c + log 2 metre K(x c. Lemma x: K(x + c. 2. x: K(x K(x + 2 log + c. Dmostrazoe. 1. Sa x ua strga seza struttura. Allora l programma che la geera è baalmete «wrte(x;», che ha lughezza c + 8, perché bts salvat soo bytes. Allora s può creare u comado «wrteb(, x» che stampa bt per bt ua strga codfcata forma d bytes. I questo modo l programma ha falmete lughezza + c. S ot che è ecessaro scrvere l umero d bts da leggere perché ella sequeza d bts codfcat come bytes c potrebbe essere u byte che s cofode col delmtatore della strga. 2. Sfruttamo l puto precedete. Il programma seza put è ella forma := ; wrteb(, x; la cu lughezza è tuttava 8 log + c. Allora smlmete a prma possamo creare u comado «bass(,» (bary assgmet cu la strga che rappreseta è scrtta d uovo bts codfcat come bytes. Per capre dove fsce la strga possamo rappresetare raddoppado og sgolo bt e aggugere 01 come segale. Ora l programma ha falmete lughezza K(x K(x + 2 log + c. Possamo mglorare le prestazo della codfca d el secodo puto del teorema precedete: = 1023 valore decmale strga bts della rappresetazoe cu lo 0 solato è l segale d fe. Questa strga è luga log + log log + log log log log 2 log. Predamo A = {0, 1} alfabeto baro e cosderamo A, che dvdamo tp. Allora γ = + 1 esattamete. La cardaltà d u tpo detfcato da ( 1, 2 è ( ( 1 = ( 1, 2 = 2 e sappamo ache 2 H(F γ T 2 H(F, co F = ( 1 (, 2 = 1, 1 1 frequeza del tpo T. L etropa d ua dstrbuzoe bara H(x, 1 x vee spesso deotata co «H 0 (x» o co «h x». Abbrevamo co «u» l umero d 1 d u tpo T fssato, esprmble ache come u := x. Vale che 2 H0(u/ + 1 ( 2 H0(u/. u = T 18

20 U programma che dce «Geera tutte le strghe d elemet co u 1, ordale lesscografcamete, stampa la -esma» è scuramete pù compatto d u wrte se è grade. Studamo qud K(x per l uovo programma. ( K(x c resto + log( log u u c + log( H 0 ( u Cofrotado questa complesstà co quella del Teorema 1.47, abbamo che per u 2 H 0 ( u 1 qud covee la wrte, altrmet covee la uova codfca. Proveremo ora a usare le dee mpegate per K come algortmo d compressoe. Assocamo ϕ(x al pù pccolo programma che stampa x. L algortmo otteuto è B-LV e o realzzable, sempre per l mpossbltà d determare l programma pù breve. Proposzoe H(P EL H(P + ξ, co ξ ftesmo. Dmostrazoe. Programm che geerao strghe dverse o possoo essere uo prefsso dell altro, qud questo codce è a prefsso, è UD e duque EL H(P. Iaztutto vale EL = EK(x E ( P (xk(x x A. Usado ua meta-otazoe, scrvamo che c + log( H 0 ( X ( = c + log( EH X 0,. dove og X è ua v.a. che è 1 co probabltà p. Allora, per la dsuguaglaza d Jese, s ha che ( EH X ( E 0 H X ( p 0 = H 0 = H(p, 1 p = H(P, da cu EK(x c + log( H(P EL c + log( H(P = H(P + ξ. 2 Codc d caale L obettvo è proteggere l formazoe da error casual, ossa o provocat da maltezoat. L dea geerale cosste ell trodurre delle rdodaze sstematche. Defzoe 2.1. Il tasso d trasmssoe è R := log C, dove C è l alfabeto del codce e è umero d smbol del messaggo codfcato. I geerale l metodo d decodfca è quello d massma verosmglaza co u seme d valor ammssbl. Il problema «Trovare u seme d -uple co e elemet che dfferscoo oguo per almeo d bts» è NP-completo. Esempo 2.2. Nel bt d partà s agguge u bt corrspodete allo xor degl altr bt. Co u alfabeto d -uple d bts, o vamo + 1 bt, co u tasso R = 7 8. Se ella trasmssoe avvee u umero dspar d error s rcoosce che c è stato u errore, ma o lo s può correggere. 19

21 Nel codce a rpetzoe s rpete og bt r volte. Co u alfabeto d -uple vamo r bt, co u tasso R = 1 r. Ache se sprechamo pù bts, possamo correggere fo a r 2 error per og gruppo d r bt. Defzoe 2.3. Ua matrce quadrata d lato è d Hadamard se H j { 1, 1} e HH T = I ( ( Esempo e 1 soo d Hadamard ( H H Lemma 2.5. Se H è d Hadamard allora è d Hadamard. H H Dmostrazoe. Se H è d Hadamard (d lato allora H j { 1, 1} e cò vale ache per la uova matrce. ( ( ( ( H H H T H T HH H H H T H T = T + HH T HH T HH T 2I 0 HH T HH T HH T + HH T = = 2I 0 2I 2. Idchamo co «H 2» la matrce d Hadamard otteuta dalla matrce ( 1 co applcazo del lemma precedete. Lemma 2.6. Due qualsas rghe dstte d H 2 s dfferezao 2 1 put. Dmostrazoe. Predamo due rghe a caso (a 1,..., a 2 e (b 1,..., b 2 dstte. Poché H 2 (H 2 T = 2I 2, sappamo che 2 a b può valere 0 oppure 2, l secodo de qual vale solo quado la rga è la stessa. Ma H 32 sccome le rghe soo dverse per potes, la sommatora è ulla. Affché questo accada a ua somma d prodott d 1 e 1, sgfca che metà soo ugual e metà dvers. ( H32 Allora alla NASA hao pesato d costrure la matrce, che ha 64 rghe e 32 coloe. Prededo ua rga d quella sopra e ua d quella sotto, possoo dfferre 16 o 32 put. I questo modo hao scelto u codce C d 64 elemet per l quale vegoo usat 32 bt. Allora R = , potedo però correggere fo a 7 error cosecutv. Cosderamo m CC x caale y DC ˆm co x X := {a 1,..., a k } e y Y := {b 1,..., b h }. Gl alfabet soo teorcamete dvers perché Y potrebbero esserc valor che dcao «defto», ma tpcamete k = h = 2. U caale vee descrtto co ua matrce stocastca Γ tale che Γ j := P(Y = b j X = a ( ε ε Esempo 2.7. Il caale smmetrco baro (CSB ha X = Y = {0, 1} e Γ =, co ε ε 1 ε probabltà d errore. 20

22 Scrveremo «Γ (x y» per dcare P(Y = y X = x. Nell potes d asseza d memora d u caale, la probabltà della cocateazoe è l prodotto delle probabltà. Scrveremo ache Γ ( {x 1,..., x t } y» per tedere t Γ (x y. Defzoe 2.8. Dato u seme d messagg «M», l codfcatore d caale (CC è ua f : M X e l decodfcatore d caale (DC è ua g : Y M { } (codfca morbda oppure g : Y M (codfca rgda. Il smbolo, opzoale, dca che o ho saputo decodfcare. Qud R := log M e l C usato prma o è altro che f(m X. C pacerebbe che R fosse alto (l valore massmo è 1. Defzoe 2.9. La probabltà d errore d u messaggo m è p err (f, g, m := P ( g(y m X = f(m = P ( Y / g 1 (m X = f(m = 1 Γ ( g 1 (m f(m. Per la probabltà d errore d u codce possamo sceglere l massmo, la meda o la meda pesata delle probabltà d errore de messagg. Quest ultma è mpropoble perché o possamo cooscere a pror le probabltà de messagg. Per l CSB soo tutte ugual. Qud geerale o vee defta. Esempo Come caale cosderamo l CSB. f(x = x g(x = x R = 1 p err (f, g, 0 = Γ( 1 0 = ε p err (f, g, 1 = Γ( 0 1 = ε f(x = xxx p err (f, g, 0 = Γ 3( { 110, 011, 101, 111 } 000 = = Γ 3 ( Γ 3 ( Γ 3 ( Γ 3 ( = Rspetto al caso precedete, la probabltà d errore è calata. = 3ε 2 (1 ε + ε 3 = ε 2 (3 2ε = p err (f, g, 1. Co 5 rpetzo abbamo R = 1 5 e p err = ε 3 (6ε 2 15ε + 10, che cala ulterormete. Possamo mglorare la probabltà d errore, ferma restado Γ, seza perdere troppa veloctà? Defzoe La capactà d u caale Γ s defsce come C(Γ := max I(X Y, dove P è la P dstrbuzoe d probabltà d X. Teorema 2.12: Teorema d Shao (per codc d caale. 1. Esste ua famgla d codc tale che la sua probabltà d errore tede a 0 per R che tede a C(Γ. 2. Se u codce ha R > C(Γ allora p err > η, co η > 0. Esempo

23 ( Sa Γ =. Questa matrce ha le rghe tutte ugual e a somma 1. L uscta è dpedete dall gresso, fatt questo caale vee detto utle (o cavo rotto. Poché p j = P(X = a Y = b j = P(Y = b j X = a P(X = a = Γ j p e Γ j = q j (o dpede da allora I(X Y = j p j log p j p q j = j log Γ j p p q = 0 j =1 e deftva C(Γ = 0. ( Sa Γ =. Questa matrce ha og coloa al pù u elemeto o ullo. U caale smle vee detto seza rumore, fatt dall uscta posso determare sempre l gresso. Idchamo co «N» l seme degl dc d Y che soo om per a. Poché p j = p j q j allora I(X Y = = log p j = p j log p j = p j q j p q j j N q j log 1 = p log p = H(P. p j N da cu C(Γ = max H(P = 1. P Sa Γ = 0 1. Questa matrce ha og rga esattamete u elemeto o ullo. U caale smle vee detto determstco. Pur o avedo rumore, troduce errore decodfca. Poché vale l ragoameto smmetrco rspetto al caso precedete, abbamo I(X Y = H(Q, da cu C(Γ = max H(Q = log X Y. P Cosderamo l CSB e sfruttamo I(X Y = H(Y H(Y X. Abbamo H(Y X = P (xh(y X = x e x {0,1} H(Y X = 0 = P(Y = 0 X = 0 log P(Y = 0 X = 0 P(Y = 1 X = 0 log P(Y = 1 X = 0 = = (1 ε log(1 ε ε log ε = h ε = H(Y X = 1, qud ( H(Y X = P ( 0 h ε + P ( 1 h ε = h ε. Allora I(X Y = H(Y h ε e oltre C(Γ = = max H(Y hε, che è massma per Q uforme e vale C(Γ = 1 hε. P Eserczo Dmostrare che el caale smmetrco q-aro (CSq la capactà vale C(Γ = 1 h ε ε log(q 1 co 1 ε η η η 1 ε η Γ =......, } η η {{ 1 ε } q q 22

24 ε q 1. dove η = Abbamo u messaggo m che dveta x = f(m, che a sua volta dveta y passado attraverso l caale. La f è solo ua rscrttura, qud devo trovare x che massmzza P(Y = y X = x oppure P(Y = y X = xp(x = x, ossa Γ (y x oppure Γ (y xp (x term d Γ. Quest due crter s chamao rspettvamete massma verosmglaza e massma probabltà a posteror. La secoda è pù precsa, ma sccome o abbamo P (x, l uca decodfca possble può essere quella a massma verosmglaza (come gà acceato. Defzoe La dstaza d Hammg «d H (x, y» è defta come l umero d smbol dvers tra x e y. Allora el CSB P(Y = y X = x = ε dh(x,y (1 ε dh(x,y = (1 ε ( ε dh(x,y 1 ε, cu l prmo fattore è costate e l secodo è u espoezale co base more d 1, qud devo mmzzare l espoete d H (x, y. Defzoe Defamo la dstaza mma d u codce C come d m (C := m d H (x, y. x,y C x y Se l codce è fssato, scrveremo breve «d m». Lemma Se d m 2t + 1 (per t N allora so correggere tutte le cofgurazo co t error. Soluzoe. Sa y ua strga uscta dal caale, co d H (x, y t per qualche x C. Per og altra x C vale d H (x, y > t, altrmet d H (x, x < 2t + 1, cotro l potes d mmaltà d d m. L verso d questo lemma afferma che se d m 2t allora esste almeo ua cofgurazoe d t error che o vee corretta. Eserczo Nel CSB co decodfca a mma d H, se dm > 2ε allora so correggere tutte le -uple δ-tpche, ovvero p err tede a Lmtazo astotche C cocetramo su X e su C X, dcado co «q» e «M» le rspettve cardaltà. Defzoe Il tasso d correzoe è defto come λ := dm. Naturalmete voglamo sa R che λ alt. Esempo Partà Rpetzoe Hadamard R λ

25 Sgleto Prese tutte le -uple d C e cosderadoe solo prm (d m 1 caratter, soo tutte dverse. Ifatt, se così o fosse, l codce avrebbe dstaza mma par a d m 1, che o ha seso. Allora q (dm 1 M affché valga la cosderazoe precedete. Astotcamete vale q (dm 1 M log q (dm 1 log M (d m 1 log M 1 d m + 1 log M Plotk Deotamo co «D» l valore d H (x, x j, coteete ache doppo. x,x j C R 1 λ. Scuramete vale D M(M 1. Immagamo d coloare tutte le -uple d C e deotamo co «u j» l umero d smbol della coloa ugual al j-esmo smbolo. Allora D = j=1 q u j (M u j = M q j=1 u j =M j=1 q u 2 j = M 2 j=1 q u 2 j ( Lemma 2.21: Dsuguaglaza d Cauchy-Schwartz. b 2 a b. Esamamo l secodo addedo: j=1 q u 2 j = q 1 2 j=1 q a 2 q u 2 j 1 q j=1 ( q j=1 u j =M 2 = M 2. q Allora D M 2 q 1 q e duque astotcamete Hammg M(M 1d m M 2 q 1 q d m M q 1 λ qr q 1 M 1 q q R λ q 1. 1 q q Defzoe La sfera d Hammg d cetro x e raggo r è defta come S(x, r := {y X : d H (x, y r}. Il suo volume «S(x, y» vale r ( (q 1. =0 Notamo che le sfere d raggo t = d 1 2 co elemet d C come cetro o s tersecao ma. Duque =0 M S(x, t q = M log M + log t ( (q 1 q =0 t =0 ( (q 1 R 1 1 log t =0 ( (q 1. Glbert Co u algortmo greedy scelgo ua -upla x 1 e costrusco S(x 1, d 1, per qualche d. Po scelgo u altra -upla x 2 tra quelle o apparteet alla sfera e retero fermadom quado S(x, d 1 > q, per qualche x. Questa lmtazoe afferma che qualuque codce co d m = d è mglore o uguale a questo, d 1 ( ossa M (q 1 q R 1 1 d 1 log ( (q 1. =0 24

26 Calcol fal Abbamo lascato sospeso le ultme due lmtazo cu l membro d destra della dsuguaglaza è ella forma z ( (q 1, per u certo z. = ( p Defzoe L etropa q-ara s defsce come H q (p := H 1 p, q 1,..., p. q 1 q 1 elemet Dalla defzoe s rcava che l etropa q-ara vale H q (p = (1 p log(1 p (q p 1 q 1 log p q 1 = = (1 p log(1 p p log p + p log(q 1 = h p + p log(q 1. h p Sappamo che qh(f +1 ( q H(F, co F = (,, e possamo rscrvere (q 1 come ( exp q log(q 1. Allora ( exp q ( H 0 ( + log(q 1 qhq( Cosderado la sommatora z ( (q 1 q Hq(. =0 ( ( (q 1 exp q ( H 0 ( + log(q 1 ( (q 1, l dea è che l argometo cresce fo a 2, ma o c s arrva. Nell approssmazoe cu d o può essere troppo grade rspetto a, per = z avremo l massmo, qud q Hq( z z ( + 1 (q 1 (z + 1q Hq( z =0 ( H z log z ( q log( + 1 (q 1 =0 }{{ } 1 log z =0 ftesmo ( ( z (q 1 H q. log(z + 1 }{{ } ftesmo + ( H z q H q (y è massma quado 1 y = y q 1 y = q 1 q, per cu le due lmtazo che avevamo lascato ( sospeso dvetao R 1 H d 1 ( q 2 1 λ ( Hq 2 e R 1 d 1 Hq 1 Hq (λ, rspettvamete. Uo schema rassutvo è presetato Fgura 2.1. No c s lasc gaare dal fatto che el grafco esemplfcatvo la lmtazoe ➀ o tervega attvamete. 2.2 Codc algebrc U codce algebrco è u codce che trasforma k-uple d M -uple d X utlzzado ua matrce «G» (d dmesoe k, ossa x = mg. Sorgoo subto alcue domade: Sarà UD? Corregge? Quato corregge? Se X = { a, b,..., z }, cosa sgfca a b? Posso vertrlo? 25

27 1 R ➂ ➀ ➃ 0 q 1 1 q ➁ λ Fgura 2.1: Lmtazo astotche e codc d caale: ➀ Sgleto, ➁ Plotk, ➂ Hammg, ➃ Glbert Abbamo bsogo d ua struttura algebrca cu valgao le solte regole e dotata d verso/recproco per la decodfca. La struttura che c serve è l campo fto. Teorema Se F è u campo fto, allora ha p r elemet, co p prmo e r 1. Percò possamo cosderare solo X tale che X = p r, che è comuque uco a meo d somorfsm. Defzoe U campo d Galos «GF(p g» è u campo fto basato sull algebra de polom d grado g 1 a coeffcet Z p. Se r = 1 allora l campo fto è Z p. Sccome lavoreremo co poteze d 2, dovremo geerare de GF(2 g, cu polom possoo essere vst come g-uple. Esempo Queste soo le tabelle dell addzoe e della moltplcazoe per GF(4: x x x x x x + 1 x + 1 x x x x 0 x x + 1 x x x I geerale per otteere la secoda tabella s moltplca modulo polomo rrducble d grado g. I questo caso (per g = 2 esso è uco e vale x 2 + x + 1. Per dar luogo a ua codfca ettva, G deve avere le k rghe learmete dpedet. Se cò avvee, G detfca u sottospazo d X d dmesoe k. Per comodtà suddvdamo G ua parte sstra quadrata «A k» e ua destra «P», co det(a k 0. Se A k = I k dremo che G è forma caoca. Valgoo R = k, M = qk e X = q. 26

28 Se o c è errore, per decodfcare bsoga vertre G. Trovo k coloe learmete dpedet, le verto e selezoo le compoet d x corrspodet. Esempo ( = ( m x G=(A P ( parte d x A 1 = ( m Osservamo che se x 1, x 2 C allora sa x 1 + x 2 C sa x 1 x 2 C, fatt M è fatto modo tale da coteere tutte le k-uple. Ioltre 0 C sempre. Defzoe Il peso d u codce è w(c := m d H ( x, 0. x C { 0} Osservamo che 0 C w(c d m (C (la premessa serve affché fuzo ache e codc o algebrc e partcolare e codc algebrc w(c = d m (C. Suppoedo fatt che la dstaza mma del codce s ottega come d m = d H ( x 1, x 2, poché x 1 x 2 C allora d H ( x 1 x 2, 0 = d m. Esempo G = è l bt d partà, che ha w = d m = 2. 1 G = ( è l codce a rpetzoe, che ha w = d m =. coloe Come esempo d rfermeto della prossma parte cosderamo ( m1 m 2 m = ( x 1 x 2 x 3 x 4 x 5, m x G=(I 3 P otado che G è forma caoca. Allora x = m per {1, 2, 3}, x 4 = m 1 + m 3 = x 1 + x 3 x 1 + x 3 x 4 = 0 e x 5 = m 1 + m 2 = x 1 + x 2 x 1 + x 2 x 5 = 0. Le ultme due soo dette equazo d cotrollo e dao luogo alla matrce d cotrollo, soltamete deotata co «H», co k rghe ed coloe. I questo esempo abbamo H = ( Poché G era forma caoca, vale fatt che H = (P T ( I k. Sccome H x T x1 + x = 3 x 4, allora H x x 1 + x 2 x T = 0 x C, ache se H x T = 0 o mplca asseza d 5 errore. Defzoe La sdrome d y s defsce come s( y := H y T. 27

29 Quado ua x etra el caale, e esce ua y = x + e, co e errore. Sccome H y T = H( x + e T = H( x T + e T = H }{{ x T } + H e T = H e T = 0 s può costrure u algortmo d decodfca basato sulle sdrom (metodo d Slepa, provado a rsalre a x da s( y Codce d Hammg Cosderamo G = e la sua H = , co k = 4, = 7, R = 4 7. Idchamo «h» l -esma coloa d H. I questa H le coloe soo tutte dverse, qud se c è stato 1 errore o solo me e accorgo ma so ache dove è avveuto e lo correggo calcolado x = y e. Se vece c soo stat 2 o pù error sbaglere, perché e = h per qualche, pur essedo la somma d pù coloe. I stes, questo codce corregge 1 errore. Permutado le coloe d H modo da otteere H = s ottee u codce equvalete, col vataggo che H y T m dce baro l bt co l errore, rededo pù facle l mplemetazoe. Quest ultmo è l codce d Hammg, che ha d m = 3 e λ = 3 7. I geerale u codce d Hammg ha H matrce r q r 1, da cu R = qr 1 r q r 1 e λ = r q r Sa Ĥ = , dove la parte ferore sstra è la H d poco fa. M aspetto u ( ( ( x cu l ultmo bt è d partà. Ĥ y T può essere ella forma 0, 0, oppure h ( ( ( ottego oppure h 0 e posso correggere. Co 2 error ottego e me e accorgo. h ( 1. Co 1 errore h Codce BCH ( h1 h Sa H 2 =, dove le coloe k k 1 k provegoo da ua matrce «K» stle Hammg. ( h Co 1 errore el bt, H 2 y T =, rcooscamo la coloa d H 2 e correggamo. Co 2 error e k ( h bts, j, H 2 y T + h = j k + k. Samo grado d rsalre a, j? Se H = K o. I alteratva K potrebbe j essere ua permutazoe d H, qud co 2 error H 2 y T o corrspoderebbe ad alcua coloa d H 2. ( Per trovare la gusta K esprmamo k fuzoe d h. Se provamo co k = h h 2 s ha + h j k + k = ( j h + h = j h 2 + h 2. Idcado co «s» la somma e co «q» la somma de quadrat abbamo s 2 = q, che o j forsce alcua formazoe aggutva. Co k = h 3 vece fuzoa, perché ( h + h j 3 = h 3 + h 3 j + h 2 h j + h h 2 j s 3 = q + ps p = (s 3 qs 1, dove stavolta «q» deota la somma de cub e «p» l prodotto. Resta ora da capre cosa sao l cubo e l verso d u vettore-coloa, ma possamo cosderare le coloe d H come elemet d GF( + 1 {0}. I questo esempo, prededo x 3 + x + 1 come polomo rrducble per 28