Teoria dell informazione e Meccanica Statistica

Transcript

1 Teora dell nformazone e Meccanca Statstca L. P. Gugno 2007 Rporto qu una breve rassegna dell approcco alla Meccanca Statstca medante la teora dell nformazone. Partamo dalla consderazone che la probabltà p assocata allo stato per un sstema termodnamco non può essere nterpretata n senso frequentstco. In effett, anche per un sstema pccolo, l numero d stat possbl è talmente grande che, per poter valutare la frequenza relatva d occupazone dello stato, sarebbe necessaro aspettare temp ncredblmente lungh. Consderamo un sstema d Isng con N spn. Il numero d stat possbl è par a 2 N 1000 N/10. Con un mlone d spn (un cubetto d lato 100), abbamo stat. Supponendo d esplorare uno stato ogn pcosecondo (a una frequenza d 1 GHz) dobbamo aspettare 10 6 second, coè crca 4 mes, per passare n rassegna cascuno stato n meda una volta. Questo tempo cresce esponenzalmente con la tagla del sstema. Vceversa le p possono essere nterpretate come una rappresentazone della nostra conoscenza del sstema. Esse c permettono d valutare valor attes delle osservabl X del sstema, tramte la relazone X = p X. (1) In questo modo, nvece d cercare d dmostrare un rsultato analogo al teorema ergodco (secondo l quale le p canonche corrspondono alla frequenza con cu un determnato stato vene vstato nel corso dell evoluzone del sstema) dobbamo gustfcare la scelta d queste probabltà come la mglore rappresentazone possble della nostra conoscenza del sstema. Seguendo l approcco d Jaynes [1, 2], questa scelta può essere gustfcata nterpretando n manera dversa la propretà d estremo del funzonale d Gbbs. Data una dstrbuzone d probabltà p = (p 1,..., p n ), l funzonale d Gbbs è defnto da S(p) = k p log p, (2) dove la costante k vene d solto presa uguale alla costante d Boltzmann k B. Con questa scelta, s può mostrare che la dstrbuzone canonca p eq = exp( E /k B T )/Z soddsfa l seguente prncpo d massmo: Il funzonale d Gbbs S(p) = k B p log p assume l valore massmo per p = p eq, fra tutte le dstrbuzon per cu l valore medo E = p E ha un valore fssato.

2 Teora dell nformazone e Meccanca Statstca 2 Inoltre, l valore assunto dal funzonale d Gbbs per p = p eq è uguale al valore dell entropa termodnamca per lo stato d equlbro termodnamco determnato da quel valore d E. Nell approcco d Jaynes, questo rsultato vene nterpretato n termn d nformazone mancante. S rchede coè che la scelta delle probabltà p sa tale da massmzzare l nformazone mancante sul sstema, assocata alla dstrbuzone d probabltà, fra tutte le dstrbuzon che soddsfano vncol d normalzzazone = 1 e d valor medo dell energa p E = E = cost. 1. Teorema d Shannon In questo paragrafo, mostramo che l funzonale d Gbbs, defnto su una dstrbuzone d probabltà dscreta p = (p 1,..., p n ), può essere nterpretato come una msura dell nformazone mancante sulla descrzone d un evento che può verfcars n una fra n alternatve, e tal che p è la probabltà che s verfch l alternatva. Il fatto che questa sa l espressone dell nformazone mancante è noto come teorema d Shannon. S supponga che un evento debba verfcars n una fra n alternatve, e che all alternatva sa assocata la probabltà p. Voglamo assocare alla dstrbuzone p = (p 1,..., p n ) una msura I n (p) della quanttà d nformazone mancante, tale che sano soddsfatt seguent postulat: Irrlevanza: Alternatve che hanno probabltà nulla d verfcars non modfcano l nformazone mancante. In formule: I n+l (p 1, p 2,..., p n, p n+1 = 0,..., p n+l = 0) = I n (p 1,..., p n ). (3) Monotonctà: Se tutte le alternatve hanno la stessa probabltà, l nformazone mancante deve crescere al crescere del numero d alternatve. S deve coè avere, per n < m, I n n,..., 1 ) < I m n m,..., 1 ). (4) m Smmetra: L nformazone mancante non dpende da come vengono ordnate le alternatve: per ogn permutazone P degl n ndc, s deve avere I n ( pp (1),..., p P (n) ) = In (p 1,..., p n ). (5) Addtvtà: L nformazone mancante deve essere ndpendente da come s suppone d venre a conoscere l rsultato dell evento. Supponamo, per esempo, d raggruppare le alternatve {1, 2,..., n} n m grupp, con m < n, tal che l gruppo j possede n j element, e la probabltà P j del gruppo j è data da P j = j p. Allora l nformazone mancante corrsponde all gnoranza del gruppo cu appartene l evento che s verfca, pù l gnoranza su quale partcolare evento del gruppo s sa effettvamente verfcato. Indchamo con p( j) la probabltà condzonata che s verfch l evento, ammesso che l evento che s verfca appartene al gruppo j. S ha allora, per defnzone d probabltà condzonata, / p p, se j, p( j) = j (6) 0, altrment.

3 Teora dell nformazone e Meccanca Statstca 3 Indchamo con k j l numero d element del gruppo j. Dobbamo avere allora I n (p) = I m (P ) + j P j I kj (π j ), (7) dove π j = (p( j)) è la collezone delle probabltà condzonate dal gruppo j. Contnutà: I n (p) è una funzone contnua delle p, coè se le p cambano d poco, anche I n (p) camberà d poco. Notamo che la (7) mplca che I 1 (1) = 0. Consderamo nfatt due descrzon equvalent della stessa stuazone. Abbamo n alternatve, {1, 2,..., n}, cascuna delle qual s verfca con probabltà p. Oppure possamo dvdere queste alternatve n n grupp, ognuno de qual contene un solo elemento. Abbamo così P j = p j, j = 1, 2,..., n, e p( j) = δ j. D altra parte abbamo I n (p) = I n (P ) + j P j I 1 (1). (8) Ma, dato che P = p, questo mplca p j I 1 (1) = I 1 (1) = 0. (9) j Valutamo adesso I n (p) quando le alternatve sono equvalent. Defnamo S n = I n n,..., 1 ). (10) n Notamo che s deve avere, per l addtvtà S nm = S n + S m. (11) In effett, date nm alternatve equvalent, possamo raggrupparle n n grupp d m element l uno. Applcando a questa stuazone la (7) ottenamo 1 S nm = S n + n S m = S n + S m. (12) j=1 L equazone (11) ammette evdentemente come soluzone S n = k log n, (13) dove log n è l logartmo naturale d n e k è un arbtrara costante postva. Ora questa è anche l unca soluzone generale per cu vale la relazone d monotonctà. In effett, data la (11), possamo scrverne la soluzone generale nella forma S n = m 1 S p1 + m 2 S p2 + + m l S pl, (14) dove p 1, p 2,..., p l sono fattor prm che appaono nello svluppo d n, e m 1, m 2,..., m l le relatve molteplctà. Qund è suffcente valutare S p per numer prm p. Supponamo qund che S p = k log p per un certo numero prmo p, e valga nvece S q = k log q per un dfferente numero prmo q, con k k. Mostramo che, n questo caso, verrebbe volata la condzone d monotonctà. Dalla (14) ottenamo nfatt l espressone d S n quando n è una potenza d p o d q. S ha allora { k log n, se n è una potenza d p; S n = k (15) log n, se n è una potenza d q. Per fssare le dee, supponamo k < k. Ora è possble trovare una potenza n d q che sa appena maggore d una potenza m d p, e tale che k log n < k log m:

4 Teora dell nformazone e Meccanca Statstca 4 questo contraddce la monotonctà. Approssmamo log q/ log p medante un numero razonale: r s < log q log p < r + 1. (16) s Sappamo che è possble trovare un approssmazone d questo tpo con s grande a pacere. Avremo allora r log p < s log q < (r + 1) log p. (17) Sceglendo qund n = q s e m = p r, avremo S n = k log n e S m = k log m, e qund S n S m = k log n k log m = (k k) log m + k log(n/m). Abbamo per potes (k k) log m < 0. Mostramo che s può sceglere m e n n modo che l prmo termne sa pù pccolo (n modulo) del secondo. S ha k log(n/m) = k (log n log m) = k (s log q r log p) < k log p, (18) dove abbamo sfruttato la (17). Basterà qund sceglere m n modo che (k k ) log m > k log p per volare la monotonctà. Possamo adesso valutare I n (p 1, p 2,..., p n ) per delle probabltà arbtrare p = (p 1,..., p n ). Sfruttando la contnutà, potremo lmtarc al caso n cu le p sono razonal. Supponamo qund d scrvere p = m /N, dove N è un determnato ntero. Allora potremo rappresentare le alternatve supponendo che abbamo a che fare con N alternatve equprobabl, d cu m 1 stanno nel prmo gruppo, m 2 nel secondo, ecc. In questo modo avremo, per l addtvtà, I N N, 1 N,..., 1 ) ( ) 1 1 = I n (p 1, p 2,..., p n ) + p I m,..., N m Ma e qund = I n (p 1, p 2,..., p n ) + m p k log m. (19) I N N, 1 N,..., 1 ) = k log N, (20) N I n (p 1, p 2,..., p n ) = k = k p log m + k log N p log N p log m + k = k p log p. (21) Evdentemente fssare la costante k equvale a fssare la base rspetto a cu vengono valutat logartm. Per convenzone s scegle d valutare logartm n base 2, che corrsponde alla scelta k = (log 2) 1. (22) L untà d nformazone corrspondente a questa scelta vene chamata bt.

5 Teora dell nformazone e Meccanca Statstca 5 Notamo che l espressone (21) dell nformazone mancante soddsfa la seguente dsuguaglanza: I n (p 1,..., p n ) I n n,..., 1 ) = k log n. (23) n Questa dsuguaglanza dscende dalla ben nota relazone soddsfatta dal logartmo: log x x 1. (24) S ha allora, supponendo p > 0,, I = I n (p 1,..., p n ) k log n ( n ) = k p log p + log n = k = k = k p log (np ) ( ) 1 ( ) 1 p log k p 1 np np ( ) 1 n p = k (n 1n ) 1 = 0. (25) Questo rsultato è n accordo con la rchesta ntutva secondo la quale l nformazone mancante è massma quando le n alternatve possbl sono tutte equvalent. Possamo adesso sottntendere la dpendenza da n, e ottenamo qund che l nformazone mancante è proporzonale al funzonale d Gbbs valutato sulla dstrbuzone d probabltà p = (p 1,..., p n ): I(p) = k p log p. (26) Notamo che, n questo contesto, l funzonale d Gbbs è anche chamato entropa d Shannon. 2. Ensemble statstc e nformazone mancante Supponamo d volere descrvere la nostra conoscenza relatva allo stato un sstema fsco che può trovars n uno fra n mcrostat medante una dstrbuzone d probabltà p = (p 1,..., p n ). Supponamo n partcolare d conoscere l valore medo, E = E d una funzone E del mcrostato. Quale dstrbuzone d probabltà rappresenterà al meglo l nostro stato d conoscenza? Per rsolvere questo problema, s ntroduce l seguente prncpo d massmo dell entropa d Shannon. La dstrbuzone p deve corrspondere al massmo valore dell nformazone mancante I(p), fra tutte le dstrbuzon che soddsfano vncol p = 1; p E = E. (27) Per gustfcare questo prncpo, ndchamo con p eq la dstrbuzone che lo soddsfa (per un dato valore d E), e consderamo un altra dstrbuzone p che soddsfa vncol, ma che corrsponde a un valore I(p) nferore al massmo I(p eq ). Allora, per defnzone, la conoscenza che avremmo dello stato del sstema dalla dstrbuzone p sarà pù precsa d quella corrspondente alla dstrbuzone p eq. Ma, per potes, tutta

6 Teora dell nformazone e Meccanca Statstca 6 la nostra conoscenza dello stato del sstema è contenuta nel valore E d E, vncolo che è soddsfatto dalla p eq. Qund questa maggore conoscenza sullo stato del sstema non è gustfcata dallo stato delle nostre nformazon, ed è fuorvante. Vedamo adesso d valutare p eq. Introducamo moltplcator d Lagrange α e β per mporre vncol. Cerchamo qund l massmo dell espressone Φ = I(p) α p β p E = p [log p + α + βe ]. (28) Abbamo posto k = 1 per semplfcare le formule. Ottenamo qund, per ogn, Φ = [log p + α + βe ] 1. (29) p Qund, mponendo Φ/ p = 0, ottenamo p exp( βe ). (30) La costante d proporzonaltà vene determnata dalla condzone d normalzzazone. Defnendo ottenamo Z = p = p eq exp( βe ), (31) = e βe Z. (32) D altra parte, l valore d β vene determnato dalla condzone E = Notamo che, se p ha la forma (32), s ha p E = E. (33) E = log Z β. (34) Inoltre s ha E β = (E E ) 2 < 0. (35) Qund è possble rsolvere rspetto a β l equazone log Z = E. (36) β Abbamo così ottenuto che la dstrbuzone che soddsfa l prncpo d massmo dell entropa d Shannon, e soddsfa (oltre al vncolo d normalzzazone) l vncolo E = E è una dstrbuzone canonca n E, con un determnato valore d β. L entropa d Shannon corrspondente è proporzonale all entropa termodnamca dello stato a temperatura k B T = 1/β. È mmedato generalzzare questo rsultato al caso n cu s dspone d nformazon su valor med d pù quanttà. È anche utle mostrare esplctamente che l nformazone mancante per una qualunque dstrbuzone p dversa dalla dstrbuzone canonca, ma che sa normalzzata e che abba lo stesso valore d E, è nferore a quello della corrspondente dstrbuzone canonca. Voglamo mostrare coè che, se p soddsfa le relazon (27), s ha I(p) I(p eq ), (37)

7 Teora dell nformazone e Meccanca Statstca 7 dove p eq è defnto dalla (32). S ha n effett I(p eq ) = k p eq log p eq = k (log Z + βe), (38) dove Z è defnto dalla (31) ed E è defnto dalla (33). S ha allora I = I(p eq ) I(p) = k (log Z + βe) + k p log p = k p log p + k p (log Z + βe ) = k p log p. (39) p eq La quanttà a secondo membro è proporzonale alla cosddetta dvergenza d Kullback-Lebler della dstrbuzone p dalla dstrbuzone p eq, defnta da D KL (p p eq ) = p log p. (40) p eq Questa espressone è una msura della dstanza delle due dstrbuzon. In senso matematco, però, non può essere consderata una dstanza, perché non è smmetrca: D KL (p p eq ) D KL (p eq p). (41) Tuttava, s vede faclmente che essa non è ma negatva, e s annulla solo se p = p eq. S ha nfatt D KL (p p eq ) = p log peq p ( p eq p 1 p ) = (p eq p ) = 0. (42) Bblografa [1] E. T. Jaynes, Informaton theory and statstcal mechancs, Phys. Rev. 106 (1957) 620. [2] E. T. Jaynes, Probablty: The Logc of Scence (Cambrdge: Cambrdge U. P, 2003).