關於資訊加工、存儲與分析的理論。按B.麥克米倫和D.斯列皮恩的分類，資訊理論可分為狹義資訊理論、一般資訊理論與廣義資訊理論。狹義資訊理論主要研究信息量與通信編碼問題，關於信息量的引進與通信編碼的可行性問題為仙農資訊理論，而編碼的構造演算法及它們在電腦上的實現問題稱編碼理論，因為它大量應用代數理論，又稱代數碼理論。一般資訊理論除研究上述編碼理論外，還研究信號在雜訊中的預測、濾波、檢測及調製等問題，又稱這些問題為維納資訊理論。廣義資訊理論涉及資訊處理的有關問題，如電腦科學、經經濟、社會、心理、生物中的信息處理問題都屬於這個范圍，也包括關於“信息”等概念的哲學問題，因此它是多學科的綜合性科學，又稱信息科學。
信息論與數學關系很密切，它不僅深刻地應用瞭數學的許多分支，而且它的一些分支也是數學的分支。
信息與信息量 信息的一般概念是個哲學概念，它的定義甚多，但還沒有一個是得到公認的。日本的《現代用語基礎知識》一書中稱信息是“生活主體與外部客體之間有關情況的消息”。在人類社會中，語言、文字、書刊報章、廣告信件都是信息的表達形式，人與機器、機器與機器、人與生物、生物之間都有各種信息的交換。因此它是物質運動的一種特征形式，反映瞭各種運動的相互聯系。
信息定量化是信息科學的基礎。由於信息概念的普遍性與復雜性，信息的定量化過程是一個不斷深化的過程，人們不可能通過一種或幾種量的定義就可完成這個過程。對已有的各種不同的信息量隻有通過它們產生的條件與它們的作用和性質來理解它們的本質。隨著信息科學的不斷發展，信息量的內容也日趨豐富。
仙農熵是人們首次進行信息定量化的成功嘗試，因此人們把仙農信息論看作信息科學發展的開端。
仙農熵反映瞭一個隨機試驗（或隨機變量）的不肯定性。一個隨機試驗可用
表示，其中1，2，…，
n為可能發生的結果，
p
i為
i發生的
概率。
x的不肯定性大小取決於
n的大小與
p
i分佈的均勻程度。這個不肯定性是(
p
1，
p
2，…，
p
n)的一個函數，記為
H，它具有性質：(1)對稱連續性，即
H(
p
1，
p
2，…，
p
n)是
p
1，
p
2，…，
p
n的對稱連續函數；(2)
H(0，1)=0；(3)如
q=
p
n+
p
n
+1則
通過一定的數學推導，可得
式中 log可分別取2、e、10為底，在工程中相應的
H(
x)的單位分別為比特(bit)、奈特(nat)、迪西特(decit)。
H(
x)的形式與熱力學中的熵十分相似，因此稱
H(
x)為
x的仙農熵。
如(x，Y)為二元隨機變量，取值為(x，y)，x=1，2…，m，y=1，2，…，n;聯合概率分佈為pij，則(x，Y)的仙農熵（又稱聯合熵）為
稱
H(
Y|
x)=
H(
x，
Y)-
H(
x)(或
H(
x｜
Y)=
H(
x，
Y)-
H(
Y))為
Y關於
x（或
x關於
Y）的條件熵，它表示條件不肯定性，稱
I(
x；
Y)=
H(
x)+
H(
Y)-
H(
x，
Y)為
x、
Y的交互信息，它反映瞭
x、
Y的相互依賴程度。由仙農熵還可引出其他一系列有關信息量的定義，它們在通信編碼中起著重要的作用。
信息定量化的一個重要發展是算法信息論的產生，它以計算復雜性作為事物信息的度量標準，它與仙農熵有許多本質上的不同。該理論把信息科學與計算機科學匯成一體，是信息科學的一個重大進展。
通信系統 通信系統由以下要素構成。
信源 即消息的來源，由一個消息符號表H與H上的一個概率分佈p(x)表示，H表示消息可能使用的符號的全體，p(x)為符號x(x∈H)可能出現的概率，信源可用[H，p(x)]表示。記x為消息隨機變量，它在H上取值，且概率分佈為p(x)。
信道 由輸入（拍發）信號集合U、輸出(接收)信號集合炘與轉移概率分佈矩陣p(v｜u)構成，其中u、v分別是U、V的元素，p(v｜u)為拍發u條件下接收為v的概率，
故信道可記為[U，
p(
v｜
u)，V]。
如U=V=F2(F2為二元域)，且p(1｜0)=p(0｜1)=p，p(0｜0)=p(1｜1)=1-p，則稱這個信道為二元對稱信道，如圖1
所示。
信源序列與信道序列 在實際通信中，消息與信號是由一串符號向量構成的，消息為：
x
j∈H，輸入信號為
u
j∈U，輸出信號為
v
i∈V;相應的概率分佈與轉移概率為
p(
x
n)，
p(
v
n｜
u
n)，稱[
H
n，
p(
x
n)](
n=1，2，…)為信源序列，其中
H
n為全體
x
n的集合，而稱[
U
n，
p(
v
n｜
u
n)，
V
n](
n=1，2，…)為信道序列。如對任何
x
n=(
x
1，
x
2，…，
x
n)有
則稱信源序列是無記憶的，且由[H，
p(
x)]決定。否則稱為有記憶的。如對任何
u
n=(
u
1，
u
2，…，
u
n)、
v
n=(
v
1，
v
2，…，
v
n)有
則信道序列是無記憶的且由[U，
p(
v｜
u)，V]決定。
編碼(encoding) 把信源消息變為信道輸入信號的運算稱為編碼。在工程中由一系列調制所構成，在數學中可看作一個函數fn：Hn→Un。
譯碼 把信道的接收信號還原成信源消息的運算稱為譯碼。在工程中由一系列解調設備構成，在數學中為函數gn：Vn→彑n其中彑n為Hn的復制消息。
又稱(fn，gn)為編碼(coding)。
以上各因素構成通信系統的框圖，如圖2
所示。
如信源[Hn，p(xn)]、信道[Un，p(v｜u)，Vn]、編碼(fn，gn)給定，則信源消息xn、輸入信號Un、輸出信號Vn、復制信號X̂n的聯合分佈確定為
式中
f
n(
u
n｜
x
n)當
u
n=
f
n(
x
n)時為1，其他情形為0；
時為1，其他情形為0。如
，則稱
為通信系統的概率誤差，其中
p(
x
n，
X̂
n)為由
p(
x
n，
u
n，
v
n，
X̂
n)決定的邊際概率分佈。
通信系統的編碼問題 對固定的信源與信道，如存在適當的編碼(fn，gn)，使
則稱這個信源系列在信道序列上是可通過的。仙農信息論的基本問題就是討論信源在信道上可通過的條件。這個問題又稱為編碼的存在性（或可行性）問題。為討論通信系統的編碼問題，需討論信源與信道的結構特征。
無噪聲信源編碼問題 信源的編碼分等長與不等長兩大類型的問題，前者又稱為信源的分組編碼問題。以下記
且取U=
F
2。
①信源不等長編碼問題 如[H，p(x)]為一個信源，稱變換f：H→U*為一個不等長編碼。這時，對任何xn∈Hn，定義
的變換。如
f為1-1變換，稱
f為1-1碼；如
f
*為1-1變換，稱
f為惟一可譯碼；如對任何
x，
x′∈H，
f(
x)不為
f(
x′)的前綴，稱
f為前綴碼。記
l(
f(
x))為
f(
x)向量的長度，則
為編碼
f的平均長度。
定理1（不等長信源編碼定理） a.前綴碼必為惟一可譯碼；惟一可譯碼是1-1碼，但逆命題不一定成立；b.如f是惟一可譯碼，則L(f)≥H(x)；c.存在一個前綴碼f，使L(f)≤H(x)+1。由此，這個定理給出瞭惟一可譯碼的平均長度與仙農熵之間的關系。
② 分組碼的信源編碼問題 對信源序列[ Hn，p(xn)]，n=1，2，…，如對任意ε＞0，隻要n充分大，就存在一個An⊂Hn，使p(An)>1-ε，且
則稱
R為它的一個可達碼率，其中‖
A‖為集合
A的元素的個數。
R-可達碼率的概念說明瞭[
H
n，
p(
x
n)]的概率集中在
2
nR個元素上。
定理2（無記憶信源編碼定理） 如信源序列[Hn，p(xn)]為由[H，p(x)]決定的無記憶信源，則R=H(x)為最小可達碼率。這個定理給出瞭無記憶信源消息的概率分佈集中在2
個元上，在工程上稱之為信號體積。
對平穩、遍歷的有記憶信源，仙農-麥克米倫-伯雷尼恩定理給出瞭類似的性質。
信道編碼定理 對信道序列
n=1，2，…，如對任意
ε＞0，隻要
n充分大，就存在一列編碼
使
M
n＞
2
，且
則稱
R為它的可達碼率。這裡取
信道序列的最大可達碼率稱為信道容量，記為
C。
定理3(無記憶信道編碼定理) 由[U，p(v｜u)，V]決定的無記憶信道的信道容量為C=maxI(U；V)，其中max對全體U上的概率分佈{p(u)}而取，I(U;V)為交互信息。U、V的聯合概率分佈為p(u，v)=p(v)p(v｜u)，p(v｜u)為無記憶信道轉移概率矩陣。可以推出二元對稱信道容量為C=1-h(p)，其中h(p)=-plogp-(1-p)log(1-p)，這裡，p=p(1｜0)=p(0｜1)。
對有記憶信道也有一系列類似的討論，定理3的結果可推廣到有限記憶信道的情形。
連續信號的通信問題 以上討論的信息量與編碼問題都是離散情形的，也就是消息、信號符號表H、U、V均為有限集合。有時也可取H、U、V為d維實數空間Rd，這時的通信問題為連續信號的通信問題。如x、Y為兩個實隨機變量，分佈密度分別為f(x)、f(y)，聯合分佈為f(x，y)，則它們的仙農熵與交互信息分別為
這時有關系式
I(
x;
Y)=
H(
x)+
H(
Y)-
H(
x，
Y)。如U=V=
R
1，且輸入輸出信號滿足關系式
V=
U+Z，Z是一個與
U獨立的隨機噪聲變量，則稱這個信道是可加噪聲信道;如Z又服從
正態分佈，則稱此信道是可加高斯信道。
定理4（可加高斯信道容量公式）對可加高斯信道，如Z服從N(0，σ2)分佈，輸入信號U的平均功率不超過N，即
為
U的分佈密度)，這時信道容量為
，其中
p=
σ
2為噪聲功率，稱
為信噪比。這個公式在工程中是常見的。
率失真理論 又稱具有允許畸變誤差下的信源編碼理論。在討論信源編碼問題時，考慮瞭一定程度的概率誤差，但沒有考慮由於信號的變形而產生的畸變誤差，如電視圖像中光點的位置與亮度均存在畸變。這些畸變在一定的視覺范圍內可以忽略不計，利用這些允許的畸變誤差就可以大大減少信號體積。這就是率失真理論的基本點。因此它也是圖像、語聲等數據壓縮處理的理論基礎。
在率失真理論中的信源為[H，p(x)，
，
d(
x，
X̂)]，其中[H，
p(
x)]的定義如前，
為H的復制信號集合，
d(
x，
X̂)為
x、
X̂的誤差度量，即
x復制為
X̂的損失。同樣定義
為信源序列。一個信源序列稱之為無記憶的，如果[
H
n，
p(
x
n)]是無記憶的，且對任何
x
n=(
x
1，
x
2，…，
x
n)、
設D是一個允許誤差，稱R是一個D-可達碼率，如果對任意ε＞0，隻要n充分大，就存在編碼(fn，gn)，fn：
使
且
其中
E{·}為數學期望，
x
n的分佈為[
H
n，
p(
x
n)]。由此
R為
D-可達的意思是上述信源序列在平均誤差不超過
D的條件下信號體積可壓縮在
2
nR范圍之內。稱最小的
D－可達碼率為率失真函數，記為
R(
D)。
定理5（無記憶信源的率失真編碼定理）如信源序列是無記憶的，則
式中
Q(
D)為轉移概率矩陣(
Q(
X̂｜
x)，
x∈H，
X̂∈
)的集合，
且
D。而
X、
X̂的聯合分佈為
p(
x，
X̂)=
p(
x)
Q(
X̂｜
x)。
如取
（即信源分佈密度為正態分佈），且
為均方誤差，則可導出
一般有記憶高斯平穩過程，如它的譜密度為
為均方誤差，則
式中
θ為參變量。
多用信息論 圖2
中討論的通信系統稱為簡單系統，它的信源、信道輸入輸出都是單一的。如討論的信源是多重的或信道的輸入輸出是多重的，則它們的編碼問題都稱為多用信息論編碼問題。它有下列主要類型。
多重相關信源編碼問題 它討論若幹個不相獨立的信源編碼的壓縮長度（信號體積）問題。重要的模型有如斯列皮恩－沃爾夫－科韋模型(圖3)，
其中
R
1、
R
2分別為信源
x
1、
x
2的壓縮率，
E
1、
E
2為編碼器，
D為譯碼器。又如邊信息模型（圖4），Z為一個與
x相關的邊信息，
E
1、
E
2為編碼器、譯碼器利用邊信息的開關，
R
1、
R
2為信源與邊信息的壓縮碼率。
多接入信道編碼問題 它的背景是通信衛星模型。多接入信道具有多重輸入信號和單重輸出信號(圖5)。
廣播信道 模型來自電視衛星。該信道具有單重輸入和多重輸出，又可分為標準廣播信道(圖6)與降價（轉播）廣播信道（圖7）。
多終端信源編碼問題 模型來自兼聽系統。幾個用戶同時收聽同一信源，他們分別獨立地獲取部分信息，關於這些信息的綜合分析是多終端問題。如圖8所示，這裡，用戶1、2分別從信源x上獲取R1、R2的信息率，用戶3可同時利用R1、R2的信息。要討論的問題是這三個用戶的失真度。
具有反饋信號的編碼問題 如圖9所示，Z為由終端反饋到編碼器的信號，所要討論的是在有反饋條件下信道容量的提高問題。
代數碼 仙農信息論給出瞭通信系統的可行性，也確立瞭編碼的若幹原則，在工程上如何實現上述數據壓縮編碼與誤差糾正編碼則是十分復雜的，不僅要構造具體的編譯碼函數，還要建立在計算機上可實現的算法，因此必須借助於代數工具。
如取輸入信號集合U=Fq為q元有限域，則Un為Fq域上的n維線性空間;如U0為Un的一個k維線性子空間，則稱U0為q元的(n，k)線性碼。如記gin∈Un，i=1，2，…，k為U0的一組基，
F
q，則稱矩陣
為線性碼的生成矩陣。對任何
u
n∈
U
n，定義
d（
u
n）為
u
n的非零元分量數，稱為漢明勢，且記
為
u
n、
v
n的漢明距離，其中
u
n-
v
n為向量空間
U
n上的差。這時稱
為線性碼
U
0的最小距離，其中ø為
n維零向量。對任何
u
n∈
U
0，如
，則
v
n∉
U
0，這時稱
u
0碼能檢出
t個錯。對線性碼
U
0，如存在一個使
U
n→U扣的函數
g，且對任何
必有
g(
v
n)=
u
n，則稱
U
0能糾正
t個錯。
定理6 線性碼U0能檢出d(U0)-1個錯，且能糾正
個錯。
若U0，Uὀ為兩個線性碼，且
，則稱
U
0、Uὀ等價；其中
σ為{1，2，…，
n}的一個置換，且對任何
如
U
0的生成矩陣
G
k
×
n=(
I
k，
G
k
×(
n
-
k
))，則稱
U
0為組織碼；其中
I
k為
k階么矩陣。任何(
n，
k)線性碼必等價於一個組織碼。如
則稱
u
n⊥
v
n；其中和積運算均在
F
q域中。如對任何
u
n∈
U
0，
v
n⊥
u
n，則稱
v
n⊥
U
0，稱
為
U
0的對偶碼，這時
U
為(
n，
n-
k)碼且生成矩陣為
式中
為
的轉置矩陣，稱
H為
U
0的校驗矩陣。
如U0的生成矩陣是一個循環矩陣，即
則稱
U
0為一個循環碼，
為
U
0的生成元。典型的循環碼是BCH碼：如記α為
域的本原元，
e為
域的么元，則
為一個
d
r×
2
r-1階矩陣，這裡把α看作一個2元
r維列向量。如
U
0的校驗矩陣是(30)的
H，則稱
U
0是BCH碼。它是一個2元(
2
r-1，
2
r-1-
d
r)碼，
d稱為設計距離，其糾錯能力為
時的 BCH碼為漢明碼。循環碼的編碼器可通過移位寄存器實現，對BCH碼與漢明碼的糾錯譯碼算法也比較簡單。重要的循環碼還有戈帕碼與R-S碼。
如 U*為Fq域上的一個無限維線性空間，元
的非零分量有限，設
U
0是
U
*的線性空間，生成矩陣為
，
式中
則稱
U
0為卷積碼；
為碼率；矩陣
g=(
G(1)，
G(2)，…，
G(
L))為生成元。這時
其中
M
*為全體嚗=(
m
1，
m
2，…)向量的集合，
m
i∈
F
q，且非零元有限。卷積碼的編碼可由移位寄存器實現，而譯碼可由序貫譯碼實現。重要的譯碼方法有費諾譯碼法、維特比譯碼法等。
保密學 這是一門古老而又神秘的學科。在古代，人們就知道用密寫、暗語來傳遞機密。隨著無線電通信的發展，它形成瞭一門學科，在戰爭中起重要作用。近年來，計算機的廣泛應用為保密學提出瞭一系列新的課題，如保密系統的標準化、加密密鑰的公開化等。近代保密學包括密碼編碼學和密碼分析學兩大內容，討論的還有網絡系統加密、密鑰管理等問題。
一個保密系統是由明文、密文、密鑰空間所構成。明文就是普通信源；密文是偽裝後的明文，非授權者一般不能瞭解它的內容；密鑰就是加密運算，密鑰空間是可能使用的加密密鑰。建立一個保密系統必須遵循一些原則，例如，它在理論上或實際計算上具有不可破性，系統在使用過程中部分信息泄露不危及系統在以後使用中的機密，加密設備的簡易性與計算機的匹配性，密鑰使用與更換的方便性等。
經典的加密方法主要是置換法，如單字母的卡薩爾系統與多字母的維基尼系統。第二次世界大戰中許多國傢使用轉輪加密機，這是一種利用轉動機械的加密裝置。DES(數據加密標準)體制是由美國國傢標準局公佈、於1977年7月15日生效的一種標準加密體制，它是由對64比特數的一系列標準運算構成，因此它的設備與使用具有通用化的特征。公開密鑰體制是一種正在研究中的加密體制，其主要特點是加密密鑰與解密密鑰不同且由加密密鑰不能直接算出解密密鑰。每個用戶可將自己的加密密鑰象電話號碼本那樣公開，任何人可根據這個密鑰將消息通知這個用戶，其他用戶由於不瞭解該用戶的解密密鑰，因此無法瞭解這些消息的內容。重要的公開密鑰體制有對數運算體制、背包體制與RSA體制。
量子信號的檢測與估值 經典的信號檢測、估值理論是一般信息論的一個重要組成部分。它的問題背景來自雷達信號的一系列處理問題，涉及信息論、統計理論與隨機過程理論等學科。近些年，在光通信中，由於激光信號的量子性，出現瞭一系列關於量子信號、激光信號的檢測與估值問題。因此該理論是經典檢測理論與量子場理論的綜合問題，在激光通信中有著十分重要的意義。
參考書目
萬哲先著，《代數和編碼》，科學出版社，北京，1980。
R.G.Gallager，InforMation Theory and Reliable Com-munication，John Wiley &Sons，New York，1968.R.J.McEliece，The Theory of InforMation and Co-ding-A MatheMatical Framework for Communication，Addison-Wesley，Reading，Mass.，1977.
T.Berger，rate Distortion Theory，Prentice-Hall，Eng-lewood Cliffs，N.J.，1971.
A.G.Konheim，Cryptography，A Primer，John Wiley&Sons，New York，1981.
C.W.Helstrom，Quantum Detection and EstiMation Theory，AP，New York，1976.