熱力學基本概念，是系統中分子運動混亂程度的度量，用s表示。資訊理論中借用瞭熵這一熱力學的術語,用以表示一個信號狀態的豐富程度。所謂信號狀態的豐富程度指的是收到一個信號後能去掉多大的不確定度。能去掉的不確定度越高則信號狀態越豐富。
熵是系統狀態的函數，與系統演化的過程無關。熵是廣延量,合系統的熵s等於組成系統的兩個子系統的熵s<1與s2之和。熵和能從兩個不同角度描寫系統的狀態。能從正面度量運動轉化的能力，能越大，運動轉化的能力也越大；熵從運動不能轉化的一面度量運動，表示運動轉化已經完成的程度。在沒有外界作用的情況下，一個系統的熵越大就越接近平衡態，就越不能轉化。描述系統宏觀狀態的熵和混亂運動的分子可能存在的微觀狀態數Ω之間有如下關系：
(1)
其中k為玻耳茲曼常數,Ω為分子的無序度。假定系統每個微觀狀態出現的概率相同，則
(2)
美國數學傢C.E.香農利用信源某種信號出現的概率Pi來衡量該信號所具有的信息量，他發現信息大小和熱力學系統的熵有本質的一致性。定義某個信號的信息量為-PilnPi，則信源的信息為
(3)
(3)式與(2)式在形式上完全一樣。香農把H 稱為信源的熵，表示信源信息的大小。