一 熵的另一種表達(dá)形式按照Boltzmann關(guān)系式 S=kBlnΩ，式中kB是Boltzmann常數(shù)，Ω是系統(tǒng)可及微觀狀態(tài)總數(shù)，系統(tǒng)的微觀態(tài)數(shù)目越多，熵值就越大。因此，熵是系統(tǒng)內(nèi)部分子熱運動的混亂度的量度。按統(tǒng)計平均的意義上式還有另一種表示方法，設(shè)隔離系統(tǒng)可及微觀狀態(tài)為1，2，3，……，Ω。按Boltzmann等概率假設(shè)這Ω個可及微觀狀態(tài)出現(xiàn)的概率pi都相等，即Pi =1/Ω（i=1,2,……，Ω），因此熵就有了另一種表達(dá)形式 
Boltzmann對熵的這個解釋，具有極為深刻的意義，使熵成為一個富有生命力的概念。它不僅促進(jìn)了熱力學(xué)和統(tǒng)計物理學(xué)自身理論的發(fā)展，并且使熵的應(yīng)用遠(yuǎn)遠(yuǎn)超出熱力學(xué)和統(tǒng)計物理學(xué)的范疇，直接或間接地滲入了信息論，控制論、概率論、天體物理，以及甚至生命科學(xué)和社會科學(xué)等不同的領(lǐng)域。
二 一個例子
仍然以投擲骰子為例：小張擲一個骰子，讓眼被蒙住的小李猜骰子向上的點數(shù)。由于正方體骰子六個側(cè)面是等價的， 1、2、3、4、5、6點向上的概率相同都等于1/6，所以小李猜對的概率是1/6。如果提供如下消息：
a: 骰子的點數(shù)是偶數(shù)。
b: 骰子的點數(shù)不是2。
c: 骰子的點數(shù)是1,2,3,4,5,6中的一個。
d: 骰子的點數(shù)是4。
①當(dāng)小李只得到其中的一條消息后，他猜對的概率分別為1/3（a） ,1/5（b）, 1/6（c）, 1（d）。
②當(dāng)小李依次得到a ,b或b ,a這兩條消息，那么他猜對的概率均為1/2。
上面的例子說明:概率反映了事件發(fā)生不確定性的大小，而信息是可以改變不確定性的;消息中所含有用“信息”的量（信息量）是不同的，“信息量”是可以數(shù)量化的。在定量地描述“信息量”之前必須對事件的不確定性給出確切的量度。
三Shannon（香農(nóng)）熵
1948年，C.E.Shannon把Boltzmann關(guān)于熵的概念引入信息論中，把熵作為一個隨機事件的不確定性的量度。
0 ≤ Pi ≤ 1 （i = 1,2,…….,n） 及 
= 1
對于隨機事件，其主要性質(zhì)是：對它們的出現(xiàn)與否沒有把握，當(dāng)進(jìn)行和這些事件有關(guān)的多次實驗時，它們的出現(xiàn)與否具有一定的不確定性，概率實驗先驗地含有這一不確定性，本質(zhì)上是和該實驗可能結(jié)局的分布概率有關(guān)。為了量度概率實驗A的不確定性，Shannon引入函數(shù)
Hn（A） = H（P1,P2,…….,Pn） = - k
作為概率實驗A實驗結(jié)果不確定性的量度，式中k是一個大于零的恒量，因此Hn≥0。量Hn叫做Shannon熵。
| 結(jié)果出現(xiàn)的概率 Pi | 1點 | 2點 | 3點 | 4點 | 5點 | 6點 | |
| A | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 | k ln6 |
| A+a | 0 | 1/3 | 0 | 1/3 | 0 | 1/3 | kln3 |
| A+b | 1/5 | 0 | 1/5 | 1/5 | 1/5 | 1/5 | kln5 |
| A+c | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 | kln6 |
| A+d | 0 | 0 | 0 | 1 | 0 | 0 | 0 |
| A+a+b | 0 | 0 | 0 | 1/2 | 0 | 1/2 | kln2 |
| A+b+a | 0 | 0 | 0 | 1/2 | 0 | 1/2 | kln2 |
可見Shannon熵具有如下性質(zhì)：在實驗A中，如果任何一個Pi=1，而其余的都是等于零，則Hn=0，因為這時我們可以對實驗結(jié)果作出決定性預(yù)言，而不存在任何不確定性；反之，如果事先對實驗結(jié)果一無所知，則所有的Pi都相等（Pi=1/n , i=1,2,3,……n），這時Hn達(dá)到極大值
（Hn）max=k ln （n）
很明顯，在這一極限情況下，實驗結(jié)果具有大的不確定性；同時可以證明Shannon熵具有可加性：由兩個獨立事件A和B組成的復(fù)合事件C,其Shannon熵
考慮一個隨機事件實驗A，設(shè)它有n個可能的（獨立的）結(jié)局：a1,a2……，an；每一結(jié)局出現(xiàn)的概率分別定P1，P2，P3……Pn，它們滿足以下條件- k
= - k= - k
- k
即 H（AB） = H（A） + H（B）
可以證明上面定義的Shannon熵是一個獨立于熱力學(xué)熵的概念，但具有熱力學(xué)熵的基本性質(zhì)（單位性和極值性）。與熱力學(xué)熵相比，Shannon熵具有更為廣泛和普通的意義。
四 信息量與信息熵信息論量度信息的基本出發(fā)點，是把獲得的信息看作用以消除不確定性的東西，因此信息數(shù)量的大小，可以用被消除的不確定性的多少來表示。設(shè)隨機事件A在獲得信息α之前結(jié)果的不確定性為H（A），得到信息α之后為Hα（A），那么包含在消息α中的關(guān)于事件A的信息量: I（α,A） = H（A） - Hα（A）
利用上表的數(shù)據(jù)可以求出包含在消息a,b,c.d中的關(guān)于事件A的信息量：
I（a,A） = kln2
I（b,A）= kln1.2（c,A）= 0
I
I（d,A）= kln6
事件A的Shannon熵H（A） 也可以理解為包含在A這個事件本身中的關(guān)于它自己的信息，因為事件發(fā)生后結(jié)果（d）就確定了,這時 Hd（A） = 0所以H（A） = I（d,A）= kln6。換句話說，事件A的Shannon熵H（A）等于這個事件發(fā)生之后，我們所得到的信息。
參 閱 指 南
1 傅獻(xiàn)彩、沈文霞、姚天揚編，《平衡態(tài)統(tǒng)計熱力學(xué)》，高等教育出版社，1994年。
信息量是信息論的中心概念，把熵作為一個隨機事件的不確定性或信息量的量度，它奠定了現(xiàn)代信息論的科學(xué)理論基礎(chǔ)，大大地促進(jìn)了信息論的發(fā)展。一般而言，Shnnon熵在隨機事件發(fā)生之前，它是結(jié)果不確定性的量度；在隨機事件發(fā)生之后，它是我們從該事件中所得到信息的量度（信息量）。因此，隨機事件的Shnnon熵也叫信息熵，它是一個隨機事件的不確定性或信息量的量度。與統(tǒng)計熵相似，在給定的實驗條件下，所有可能的概率分布中，存在一個使信息熵Hn取極大值的分布（
2 傅獻(xiàn)彩、沈文霞、姚天揚編，《物理化學(xué)》（上冊），第4版，高等教育出版社，1990年。
3 唐有祺，《統(tǒng)計力學(xué)及其在物理化學(xué)中的應(yīng)用》，科學(xué)出版社，1979年。
4 B. J. 麥克萊蘭著，龔少明譯，《統(tǒng)計熱力學(xué)》，上?？茖W(xué)技術(shù)出版社，1980年。
5 姚允斌、朱志昂編，《物理化學(xué)教程》（上冊），湖南教育出版社，1984年，P.356-358。
6 高執(zhí)棣，獨立子體系熱力學(xué)定律的統(tǒng)計實質(zhì)，《物理化學(xué)教學(xué)文集》，高等教育出版社，1986年。
7 P. W. Atkins, Physical Chemistry, Oxford University Press, 1978, P. 685-687
8 G. C. Lie，Boltzmann Distribution and Boltzmann’s Hypothesis， J. Chem. Educ., 58, 603（1981）。
9 L. K. Nash，On the Boltzmann Distribution Law， J. Chem. Educ., 59, 824（1982）。,
,
,……,
） 。這稱為大信息熵原理。這一原理使我們能從所有可能的相容分布中挑選出使信息熵為極大值的分布——即為常見的、實現(xiàn)概率大的“*”分布。
提供商 |
美國科諾工業(yè)有限公司 （戰(zhàn)略合作伙伴：上海梭倫信息科技有限公司） | 下載次數(shù) |
0次 |
資料大小 |
0K | 資料類型 |
未傳
|
資料圖片 |
-- | 瀏覽次數(shù) |
2334次 |
(空格分隔,最多3個,單個標(biāo)簽最多10個字符)
16
立即詢價
您提交后，專屬客服將第一時間為您服務(wù)