Appendice B. B Elementi di Teoria dell Informazione 1. p k =P(X = x k ) ovviamente, valgono gli assiomi del calcolo della probabilità: = 1;

Transcript

1 Appendce B Eleent d Teora dell Inforazone Appendce B B Eleent d Teora dell Inforazone B Introduzone E noto da tepo che fenoen percettv possono essere foralzzat e studat edante la Teora dell Inforazone (TI) Attneave (954), asserva: La prncpale funzone d una acchna percettva consste nell elnazone dell nforazone rdondante, procedendo così ad una descrzone o codfca dell nforazone stessa n una fora pù econoca rspetto a quella presente su recettor In altr tern, pes snaptc d una rete neurale elaborano gl stol estern present su recettor (ngress della rete) L nforazone è, d conseguenza, asszzata quando l segnale passa ne var stad (o strat) d processaento della rete e rspettando opportun vncol E evdente, qund, che tra gl struent foral per lo studo delle ret neural, e pù n generale de crcut, debba essere presente anche la Teora dell Inforazone B Entropa Sa una varable aleatora (VA) dscreta quantzzata, n pratca, con un nuero fnto d lvell dstrbut unforeente, tale che: = { k k = 0, ±,, ±K} ; (K+) lvell, dove k, rappresenta l k-eso valore d, defnao la probabltà dell occorrenza dell evento = k coe: p k =P( = k ) ovvaente, valgono gl asso del calcolo della probabltà: 0 p k e pk = ; K k= K Se l evento = k occorre con probabltà par a, non c è sorpresa e percò non c è neanche nforazone Nel caso n cu p k <, allora saranno present anche altr valor (p >0 per k) ne segue allora, che l nforazone rcevuta sarà aggore In altre parole possao dre che l nforazone è correlata n qualche odo alla sorpresa a alla ncertezza Possao anche afferare che l nforazone è proporzonale all nverso della probabltà dell occorrenza Defnzone: s defnsce quanttà guadagno d nforazone, dopo l osservazone dell evento = k con probabltà p k ; la quanttà: I( k) = log = log pk pk I( k ) è una quanttà dscreta L unta d sura dell nforazone, se l logarto è a base, è l [bt] Quando l logarto è naturale, s usa l [nat] Propretà: I( k ) = 0 per p k = Ovvero, non c è guadagno d nforazone se l occorrenza l evento è certa I( k ) 0 per 0 p k Tratto da Haykyn: Neural Networks, 999

2 Appendce B Eleent d Teora dell Inforazone 3 L evento = k può portare o non portare nforazone Scuraente, però, non c sarà perdta d nforazone 3 I( k ) > I( ) per p k < p L evento eno probable è quello che porta aggore nforazone Defnzone: s defnsce entropa l valore edo del guadagno d nforazone I( k ) relatvo a tutt (K+) lvell assbl K K H( ) = E I( ) = p I( ) = p log p [ ] k k k k k k= K k= K L entropa H() rappresenta una sura della quanttà eda dell nforazone portata da un essaggo Propretà: 0 H() (K+) H() = 0, se e solo se per qualche k, p k = Questo lte nferore concde con l evento certo 3 H() = log (K+), se e solo se p k =/(K+) per tutt k L entropa e assa se lvell sono equprobable, ovvero, dstrbut unforeente Tale lte superore vene defnto coe condzone d assa ncertezza La dostrazone della 3 è dervata dal seguente Lea: Data due dstrbuzon (d quanttà d asse) p k e q k, per una VA dscreta, allora la quanttà: Appendce B Eleent d Teora dell Inforazone 4 k p k pk log 0 qk è par a zero se e solo se p k = q k, per ogn k B3 Entropa relatva d Kullback-Lebler Sano p () e q () le probabltà che la VA sa nello stato sotto due dfferent condzon operatve desrtta da p e q; segue la Defnzone: S defnsce entropa relatva (o dvergenza o dstanza o cross-entropa), tra funzon d probabltà p () e q (); coe; p ( ) D = ( )log pq p ; 0 q ( ) dove con 0 s è ndcato l alfabeto de sbol della VA La quanttà q () rappresenta l rferento d sura L entropa relatva d Kullback-Lebler, a volte ndcata coe K(p,q), può essere presentata anche nel contesto della geoetra dfferenzale Aar(985), Aar (99), coe etrca d Reann nello spazo delle dstrbuzon Osservazone: l entropa relatva K(p,q), non è una vera dstanza, nfatt, non vale la propretà d setra: K(p,q) K(q,p); e può essere nterpretata coe una quas dstanza B4 Entropa dfferenzale I concett base della TI, possono essere faclente estes nel contesto delle varabl aleatore contnue Defnzone: Sa una VA contnua con funzone d denstà d probabltà (pdf) f () Per analoga con l caso d VA dscrete defnao entropa dfferenzale la quanttà:

3 Appendce B Eleent d Teora dell Inforazone 5 [ ] h( ) = f( )log f( ) d = E log f( ) La h(), rappresenta una quanttà ateatca, puttosto che una sura della aleatoretà d La relazone tra la defnzone d entropa per VA dscrete e contnue può essere studata coe caso lte d una VA dscreta che assue l valore k =kδ, dove k = 0, ±, ±, e δ tende a zero Per defnzone la assue un certo valore costante nell ntervallo [ k, k +kδ ] con probabltà f ( k ) δ La entropa ordnara della VA può essere scrtta consderando l lte per δ tendente a zero coe: H( ) = l f ( ) δlog[ f ( ) δ] δ 0 k = = l f( k)[log f( k)] δ f( k) δ δ 0 + k= k= = f ( )log f ( ) d l log δ f ( ) d δ 0 = h ( ) l logδ δ 0 k k Rcordao che f ( ) d =, e che per δ tendente a zero la h() tende all nfnto Questo sgnfca che l entropa d una varable contnua è nfntaente larga potendo assuere nfnt valor con probabltà nfntesa nell ntervallo (, + ) Il problea relatvo al terne logδ può essere evtato consderando la defnzone d entropa dfferenzale In questo caso l terne -logδ è assunto coe rferento Appendce B Eleent d Teora dell Inforazone 6 Generalzzando al caso d VA vettoral = [,,, N ] l entropa dfferenzale è defnta coe: [ ] h( ) = f ( )log f ( ) d= E log f ( ) dove f () è la pdf congunta d Lea: entropa della dstrbuzone unfore Se una VA contnua è dstrbuta unforeente nell ntervallo [0, a] la sua entropa dfferenzale è h()=loga Infatt, dalla defnzone possao rcavare: a h( ) = log d = d log log a a a = a a Propretà: dell entropa dfferenzale h()=h(+c), per c=costante; 0 ovvero, la traslazone non caba l valore dell entropa h(a)=h() + log a, con a = fattore d scalatura nel caso d VA vettorale quest ulta dventa: 3 h(a)=h() + log det(a) B5 Prncpo d Massa Entropa Supponao d avere un sstea stocastco con un nsee noto d varabl d stato a con dstrbuzone sconoscuta Supponao, noltre, che per ezzo d un qualche eccanso d apprendento, sano not alcun vncol sulle funzon d probabltà della VA degl stat del sstea I vncol possono essere espress coe ede d nsee o coe valor lte sulle VA Consderao, ora, l problea della scelta d un odello d

4 Appendce B Eleent d Teora dell Inforazone 7 probabltà che sa otto, secondo qualche crtero, n grado d foralzzare le conoscenze a pror sul sstea stocastco stesso È possble dostrare che esstono nfnt odell che soddsfano vncol not su cu è possble effettuare una scelta La rsposta al problea della scelta della dstrbuzone può essere affrontato nel contesto del prncpo della Massa Entropa (Ma Ent) (Jaynes 957, 98): Se una nferenza è fatta sulla base d nforazon ncoplete, occorre sceglere quella dstrbuzone che asszza l entropa ed è soggetta a vncol post dalla dstrbuzone In effett, la nozone d entropa fornsce gl struent per effettuare un nsee d sure n odo tale da favorre le pdf con alto valore d entropa Il prncpo d Massa Entropa può, qund, essere vsto coe un Problea d Ottzzazone Vncolato, che può essere rsolto per ezzo delle defnzon ntrodotte dall entropa dfferenzale Dato un nsee d pdf della VA, consderao l problea d deternare quella che asszza la: h( ) = f ( )log f ( ) d; soggetta a vncol: f () 0; dove l uguaglanza vale esternaente al supporto d f ( ) d = 3 f( ) g( ) d= α per =,,, dove g () è una qualche funzone d Appendce B Eleent d Teora dell Inforazone 8 I vncol espress dalle e dalle descrvono delle propretà fondaental delle pdf Le 3, nvece, dce che oent d dpendono dalla forulazone della funzone g () In effett la 3, soa le conoscenze a pror dsponbl sulla VA Per rsolvere tale problea d ottzzazone occorre defnre una funzone obettvo e, percò, vene usato l etodo de oltplcator d Lagrange : J( f) = f( )log f( ) d λ0 f( ) λg( ) f( ) d + + = dove tern λ 0, λ,, λ ; sono oltplcator d Lagrange Dfferenzando e ntegrando rspetto alla f (), e uguaglando a zero, s ottene: log f ( ) + λ + λg ( ) = 0 0 = Rsolvendo rspetto alla f () s ottene: f( ) = ep + λ0 + λg( ) ; = dove oltplcator d Lagrange sono scelt n accordo con vncol, e 3 L ulta espressone defnsce la pdf che asszza l entropa per l problea n questone Esepo: dstrbuzone Gaussana ono densonale Problea: deternate la f () tale che la h() sa assa quando le conoscenze a pror dsponbl sono l valore edo µ e la varanza σ Per defnzone abbao che

5 Appendce B Eleent d Teora dell Inforazone 9 ( µ ) f ( ) d= σ = costante Per l rspetto del vncolo 3, s ha: g( ) = ( µ ) α = σ Consderando l rsultato ottenuto con oltplcator d Lagrange, abbao che: f ( ) = ep + + ( ) λ0 λ µ ; per l vncolo, che rchede la convergenza dell ntegrale della f (), segue che l coeffcente λ deve essere negatvo Sosttuendo la precedente espressone nelle dsequazon de vncol e e, rsolvendo rspetto a λ 0 e λ, ottenao: e λ 0 = log( πσ ) λ = σ La pdf che asszza l nforazone desderata, rsulta, qund, essere: f ( µ ) ( ) = ep ; πσ σ che corrsponde propro ad una pdf Gaussana ono densonale della VA con valore edo µ e varanza σ L entropa dfferenzale che asszza la precedente f () rsulta pertanto essere: Appendce B Eleent d Teora dell Inforazone 0 h = + πσ ; ( ) [ log( )] notare che per la propretà della traslazone, l valore edo non nteressa quest ulta espressone Esepo: dstrbuzone Gaussana ultvarata Il secondo esepo che consderao consste nella deternazone dell entropa dfferenzale d una VA ultdensonale con pdf Gaussana Per la propretà d traslazone consderao l vettore -densonale a eda nulla La statstca del secondo ordne è descrtta dalla atrce d covaranza Q = T (prodotto esterno) Ne segue che la pdf ultdensonale è: f T ( ) = ep Q / / ( π ) (det( Q)) Rcordando la defnzone d entropa dfferenzale per VA ult densonal: [ ] h( ) = f ( )log f ( ) d= E log f ( ) ; e sosttuendo la precedente n quest ulta espressone, ottenao l rsultato: h( ) = + log( π ) + log det( ) Q Possao osservare, qund, che per l prncpo d Massa Entropa, n questo caso dfferenzale, nota una atrce d covaranza Q la pdf che asszza l entropa dfferenzale è Gaussana

6 Appendce B Eleent d Teora dell Inforazone B6 Mutua Inforazone per VA dscrete Il problea praro de sste auto organzzant, consste nella deternazone d un algorto d apprendento che detern una certa relazone ngresso/uscta Tale relazone va deternata esclusvaente sulla base de sol dat n ngresso Consderao un sstea con ngresso e uscta le VA dscrete e Y, cu valor sono ndcat con e y rspettvaente L entropa H(), fornsce una sura dell ncertezza a pror sugl ngress La questone, è quella d deternare l ncertezza su dat dopo le osservazon Y In questo contesto la notazone della utua nforazone fornsce portant struent e propretà Defnzone: s defnsce entropa condzonale d dato Y coe segue: H( Y) = H(,Y) - H(Y); con la propretà: 0 H( Y) H() L entropa condzonale, rappresenta l aontare d ncertezza ranente sulla VA d ngresso dopo l osservazone della VA Y n uscta del sstea La quanttà H(,Y) che copare nella precedente espressone prende l noe d entropa congunta ed è defnta coe segue: Defnzone: s defnsce entropa congunta delle VA dscrete e Y coe: = H(, Y) p (, y)log p(, y) 0 y Appendce B Eleent d Teora dell Inforazone dove p(,y) rappresenta la funzone d assa d probabltà congunta delle e Y, entre 0 e rspettv alfabet Osservazone: l entropa, rappresenta la sura dell ncertezza sulla VA L entropa condzonale H( Y), nvece, rappresenta l aontare d ncertezza ranente su dopo l osservazone della Y n uscta del sstea È faclente deducble, qund, che la dfferenza H() - H( Y), rappresenta l ncertezza sull ngresso del sstea rsolta dell osservazone dell uscta Questa quanttà può qund essere defnta coe segue: Defnzone: s defnsce utua nforazone I(;Y) tra le VA dscrete e Y la quanttà: I(;Y) = H() - H( Y) py (, ) = py (, )log 0 y ppy ( ) ( ) L entropa è un caso partcolare d utua nforazone: H() = I(;) Propretà: Setra: la utua nforazone tra e Y è setrca: I(;Y) = I(Y;); dove I(Y;) rappresenta la sura dell ncertezza d Y che è rsolta della osservazone degl ngress Non negatvtà: la utua nforazone tra e Y è non negatva: I(;Y) 0

7 Appendce B Eleent d Teora dell Inforazone 3 Questa propretà ndca che non è possble perdere edaente nforazone osservando le uscte Inoltre, la utua nforazone è nulla, se e solo se, gl ngress e le uscte del sstea sono statstcaente ndpendent 4 Recproctà: la utua nforazone tra e Y è esprble n tern d entropa d Y, coe: I(;Y) = H(Y) - H(Y ) H() H( Y) I(Y;) H(,Y) H(Y ) H(Y) Fgura Illustrazone delle relazon tra la utua nforazone I(;Y) e le entrope H() e H(Y) L entropa dell ngresso, è rappresentata dal cercho a snstra entre quella dell uscta Y, con l cercho a destra La utua nforazone è rappresentata dalla sovrapposzone de due cerch B7 Mutua Inforazone per VA contnue Per analoga con la defnzone precedente possao estendere tale defnzone a VA contnue Defnzone: la utua nforazone tra le VA e Y contnue è defnta coe: Appendce B Eleent d Teora dell Inforazone 4 f ( y) I( ; Y ) = f Y, (, y)log ddy f ( ) dove con f,y (,y) rappresenta la pdf congunta d e Y, entre, f ( y) è la pdf condzonata d nota Y Notare, noltre, che f,y (,y) = f ( y) f Y (y) e qund possao scrvere: (, y) Y, I( ; Y ) = f Y, (, y)log ddy f( ) fy( y) Per analoga valgono le propretà Propretà: f Setra/Recproctà: la utua nforazone tra e Y è setrca e recproca: I(;Y) = h() - h( Y) = h(y) - h(y ) = I(Y;); dove I(Y;) rappresenta la sura dell ncertezza d Y che è rsolta della osservazone degl ngress Non negatvtà: la utua nforazone tra e Y è non negatva: I(;Y) 0 Questa propretà ndca che non è possble perdere edaente nforazone osservando le uscte Inoltre, la utua nforazone è nulla, se e solo se, gl ngress e le uscte del sstea sono statstcaente ndpendent La funzone h( Y) rappresenta l entropa dfferenzale condzonata d data Y, defnta coe;

8 Appendce B Eleent d Teora dell Inforazone 5 h ( Y) = fy, ( y, )log f( yddy ) Se le VA e Y sono statstcaente ndpendent, segue che la probabltà congunta può essere fattorzzate coe: fy, (, y) = f( ) fy( y) ; dove con f () e f Y (y) abbao ndcato le pdf argnal d e Y rspettvaente In odo equvalente, possao scrvere che: f ( y) = f ( ) ; ovvero, nel caso d VA statstcaente ndpendent, la conoscenza dell uscta non contrbusce n alcun odo alla deternazone della pdf d La defnzone d utua nforazone data per VA e Y scalar dscrete, può essere generalzzata al caso d VA ultodal e Y contnue, coe segue: f ( ) y I( Y ; ) = f, (, )log d d Y y y f( ) Per analoga, valgono le propretà gà forulate nel caso d VA dscrete B8 Dvergenza d Kullback-Lebler (DKL) Defnzone: sano f () e g () due pdf della VA ( ) ultodale,s defnsce Dvergenza d Kullback-Lebler, tra f () e g () coe segue: f ( ) Df g = f ( )log d g( ) Appendce B Eleent d Teora dell Inforazone 6 Propretà: La D f g 0è sepre postva o zero quando f () = g () ovvero s ha una sovrapposzone perfetta tra le due pdf La Df g, è nvarante rspetto a seguent cabaenttrasforazon sul vettore d ngresso : perutazone de coponent d ; cabaent d scala (aplfcazon); trasforazon non lnear onotone Osservazone: La utua nforazone I(;Y) tra la coppa d vettor e Y ha una nteressante nterpretazone n tern d dvergenza d DKL Pra notao che: fy, ( y, ) = fy( y ) f( ; ) e qund possao rscrvere l espressone della utua nforazone coe: Y y f ( y, ) y Y, I( ; ) = f, (, )log d d Y f( ) fy( y) Confrontando quest ulta con la defnzone d DKL, segue l seguente rsultato: I( Y ; ) Df f = Y, Y, La utua nforazone I(;Y) tra e Y è equvalente alla dvergenza d Kullback-Lebler tra le pdf congunte f Y, ( y, ) e l prodotto tra le pdf f ( ) e f Y ( y )

9 Appendce B Eleent d Teora dell Inforazone 7 B9 DKL tra una pdf f() l prodotto delle sue pdf argnal Consderao, ora, la DKL tra una pdf f () d una VA, vettore d densone e l prodotto delle sue pdf argnal Defnzone: la -esa pdf argnale dell eleento rspetto alla VA, è defnta coe: () f ( ) ( ) = f d, =,,, ; dove () è l vettore l ranente, d densone (-), che s ottene dopo aver rosso l l -eso eleento da Appendce B Eleent d Teora dell Inforazone 8 Ne segue qund: ; () f( )log f ( ) log ( ) ( ) d= f f d d dove l ntegrale nterno nella parte a destra, è fatto rspetto al vettore (-), d (), entre quello esterno, rspetto allo scalare d Dalla defnzone d -esa pdf argnale d, f ( ), segue, noltre: f ( )log f ( ) d= f ( )log f ( ) d = h ( ), =,,, La DKL tra la pdf f () e la dstrbuzone fattorale data da: f ( ) D = f ( )log d f f ; f ( ) = che può essere scrtta n fora espansa coe: f ( ) è = dove h ( ) è la -esa entropa dfferenzale argnale (basata, coè, sulla pdf argnale f ( ) ) Cobnando quest ulta con l espressone della DKL D f f, ottenao: D = h( ) h ( ) f f + = Questa espressone della DKL argnale è partcolarente portante nello studo della separazone ceca d sorgent = D f ( )log f ( ) d f ( )log f ( ) d f f = Osservazone: l pro ntegrale d quest ulra espressone, concde, per defnzone, alla entropa dfferenzale h() della VA Per quanto rguarda l secondo terne possao, noltre, osservare che: d=d () d