一類重要的隨機過程，它的原始模型馬爾可夫鏈，由俄國數學傢Α.Α.馬爾可夫於1907年提出。人們在實際中常遇到具有下述特性的隨機過程：在已知它目前的狀態(現在)的條件下，它未來的演變（將來）不依賴於它以往的演變（過去）。這種已知“現在”的條件下，“將來”與“過去”獨立的特性稱為馬爾可夫性，具有這種性質的隨機過程叫做馬爾可夫過程。荷花池中一隻青蛙的跳躍是馬爾可夫過程的一個形象化的例子。青蛙依照它瞬間或起的念頭從一片荷葉上跳到另一片荷葉上，因為青蛙是沒有記憶的，，當現在所處的位置已知時，它下一步跳往何處和它以往走過的路徑無關。如果將荷葉編號並用X0，X1，X2，…分別表示青蛙最初處的荷葉號碼及第一次、第二次、……跳躍後所處的荷葉號碼，那麼{Xn，n≥0} 就是馬爾可夫過程。液體中微粒所作的佈朗運動，傳染病受感染的人數，原子核中一自由電子在電子層中的跳躍，人口增長過程等等都可視為馬爾可夫過程。還有些過程（例如某些遺傳過程）在一定條件下可以用馬爾可夫過程來近似。

　　關於馬爾可夫過程的理論研究，1931年Α.Η.柯爾莫哥洛夫發表瞭《概率論的解析方法》，首先將微分方程等分析方法用於這類過程，奠定瞭它的理論基礎。1951年前後，伊藤清在P.萊維和C.H.伯恩斯坦等人工作的基礎上，建立瞭隨機微分方程的理論，為研究馬爾可夫過程開辟瞭新的道路。1954年前後，W.弗勒將泛函分析中的半群方法引入馬爾可夫過程的研究中，Ε.Б.登金（又譯鄧肯）等並賦予它概率意義（如特征算子等）。50年代初，角谷靜夫和J.L.杜佈等發現瞭佈朗運動與偏微分方程論中狄利克雷問題的關系，後來G.A.亨特研究瞭相當一般的馬爾可夫過程（亨特過程）與位勢的關系。目前，流形上的馬爾可夫過程、馬爾可夫場等都是正待深入研究的領域。

　　離散時間馬爾可夫鏈　以上述荷花池中的青蛙跳躍過程為例，荷葉號碼的集合E叫做狀態空間，馬爾可夫性表示為：對任意的0≤n1＜n2<…＜nl＜m，n＞0，i1，i2，…，il，i，j∈E，有

隻要其中條件概率（見 概率）有意義。一般地，設 E={0，1，…， M}( M為正整數)或 E={0，1，2，…}， X n， n≥0為取值於 E的隨機變量序列，如果(1)式成立，則稱{ X， n≥0}為馬爾可夫鏈。如果(1)式右方與 m無關，則稱為齊次馬爾可夫鏈。這時(1)式右方是馬爾可夫鏈從 i出發經 n步轉移到 j的概率，稱為轉移概率，記為 。對於馬爾可夫鏈，人們最關心的是它的轉移的概率規律，而 n步轉移矩陣 正好描述瞭鏈的 n步轉移規律。由於從 i出發經 n+ m步轉移到 j必然是從 i出發先經 n步轉移到某個 k，然後再從 k出發(與過去無關地)經 m步再轉移到 j，因此有

這就是柯爾莫哥洛夫－查普曼方程。根據這一方程，任意步轉移矩陣都可以通過一步轉移矩陣計算出來。因此，每個齊次馬爾可夫鏈的轉移規律可以由它的一步轉移矩陣 P來刻畫。 P的每一元素非負且每行之和為1，具有這樣性質的矩陣稱為隨機矩陣。例如，設0＜ p＜1， q=1- p，則 M階方陣

為隨機矩陣，它刻畫的馬爾可夫鏈是一個具有反射壁的隨機遊動。設想一質點的可能位置是直線上的整數點0，1，…， M，0和 M稱為壁，它每隔單位時間轉移一次，每次向右或左移動一個單位。如果它處在0或 M，單位時間後質點必相應地移動到1或 M-1，如果它處於0和 M之間的 i，則它以概率 p轉移到 i+1，以概率 q轉移到 i-1。又如果把 P的第一行換成(1，0，…，0)，則此時表示0是吸收壁，質點一旦達到0，它將被吸收而永遠處於0。如果不設置壁，質點在直線上的一切整數點上遊動，稱為自由隨機遊動，特別當 時，稱為對稱隨機遊動。

　　為瞭進一步研究馬爾可夫鏈的運動進程，需要對狀態進行分類。若pij＞0，則稱i可以直達j，記作i→j，如還有pji＞0，則記作i↔j，采用這樣的記號，可以用圖形表示運動的進程。例如圖形

表示一個馬爾可夫鏈的運動情況，當鏈處於 b 1， b 2， b 3狀態時，將永遠在{ b 1， b 2， b 3}中運動，當鏈處於 α 1， α 2， α 3， α 4狀態時，將永遠在{ α 1， α 2， α 3， α 4}中運動，而{ d 1， d 2，…}不具有這種性質，因為從 d 1可一步轉移到 b 1或 d 2，自 d 3可到 α 1或 d 4，等等。對一般的馬爾可夫鏈，若 C是由一些狀態組成的集合，如果鏈一旦轉移到 C中的狀態，它將永遠在 C中轉移， C就稱為這個鏈的閉集。對閉集 C，如果從 C中任一狀態出發經有限步轉移到另一狀態的概率都大於0，則稱 C為不可約閉集，例如上例中的{ b 1， b 2， b 3}。至於{ b 1， b 2， b 3，с 1， c 2}雖然也是閉集，但卻是可約的。如果從狀態 i出發經有限次轉移後回到 i的概率為1，則稱 i為常返狀態。狀態空間 E可以分解為由一切非常返狀態組成的集 E 0（如上例中的{ d 1， d 2，…}）和一些由常返狀態組成的不可約閉集 Eα（如上例中的 { b 1， b 2， b 3}，{ α 1， α 2， α 3， α 4}，{с 1， c 2}）的並。這樣，在鏈的轉移中，它或者總是在 E 0中轉移，或者轉移到某個常返類 Eα中，一旦轉移到 Eα，它將永遠在 Eα中轉移，而且不時回到其中的每一個狀態。特別，當 E本身是不可約常返閉集時，極限 存在，其中0≤ r＜ t， t是 0)的最大公約數，即鏈的周期，與 j無關。近20年建立起來的馬丁邊界理論，更細致地刻畫瞭鏈在 E 0中轉移的情況。它的主要思想是在鏈的狀態空間 E中引進距離並將 E完備化，使得在這個距離下， X n以概率1收斂（見 概率論中的收斂）。

　　連續時間馬爾可夫鏈　設E是{0，1，…，M}或{0，1，2，…}，{X，t≥0}是一族取值於E的隨機變量，如果在(1)式中，將n1，n2，…，m，n理解為實數，(1)式仍成立，則稱{Xt，t≥0}為連續時間馬爾可夫鏈。若

還與 s≥0無關，記為 p ij( t)，則稱鏈為齊次的。連續時間齊次馬爾可夫鏈也由它的轉移矩陣 P( t)=( p ij( t))( i， j∈ E， t＞0)所刻畫。 P( t)滿足下述條件：① p ij( t)≥0， ；②柯爾莫哥洛夫-查普曼方程

；通常假定：③標準性

這裡δ ii=1，δ ij=0( i≠ j)。有時直接稱滿足①、②、③的一族矩陣 P( t)=( p ij( t))， t≥0為轉移矩陣或馬爾可夫鏈。當①中條件放寬為 時，稱為廣轉移矩陣，它有很好的解析性質。例如，每個 p ij( t)在 t＞0時具有連續的有窮導數 P ij ′( t)；在 t＝0，右導數 P ij ′(0)存在， i≠ j時 P ij ′(0)非負有窮，但 P ij ′(0)可能為無窮。矩陣 Q=( q ij)≡( P ij ′(0))稱為鏈的密度矩陣，又稱 Q矩陣。對於每個齊次馬爾可夫鏈{ X， t≥0}，鐘開萊找到一個具有較好軌道性質(右下半連續)的修正{ X t +， t≥0}（即對一切 t≥0， P( X t +≠ X t)=0，且對每個軌道對一切 t≥0有 ），而且以概率1，對任意 t≥0， s從大於 t的一側趨於 t時， X 最多隻有一個有窮的極限點。

　　以Q為密度矩陣的廣轉移矩陣稱為Q廣轉移矩陣或Q過程。在一定條件下，Q廣轉移矩陣P(t)，t≥0滿足向後微分方程組

或者向前微分方程組

上面兩個方程組的更普遍形式由柯爾莫哥洛夫於1931年引入。他並提出求解上述方程組的問題，這就是 Q矩陣問題或構造問題：給定一個矩陣 Q=( q ij)，滿足 0 q ij＜+∞( i≠ j)， ，是否存在 Q廣轉移矩陣?如果存在，何時惟一?如果不惟一，如何求出全部的 Q廣轉移矩陣？對於 q ii都有限的情形，W.費勒於1940年構造瞭一個最小解 p ( t)，證明瞭 Q廣轉移矩陣總是存在的；中國學者侯振挺於1974年對於 q ii都有限的情形找到瞭 Q廣轉移矩陣的惟一性準則；至於求出全部 Q廣轉移矩陣的問題，僅僅對一些特殊的情形獲得解決。對於 Q的對角線元素全為無窮的情形，D.威廉斯曾獲得瞭完滿的結果。

　　生滅過程　考察一個群體成員的數目，在時間的進程中可增可減，假定在時刻t群體有i個成員，在很短的時間間隔(t，t+Δt)中，群體數目增加或減少兩個或兩個以上幾乎是不可能的，它隻可能增加一個或減少（當i＞0時）一個或保持不變。而增加一個的概率為

，減少一個的概率為 ，保持不變的概率為 。( p ij( t))的密度矩陣是

式中 α 0≥0， b 0＞0，對一切 i＞0， α i＞0， b i＞0。具有上述形狀的密度矩陣的齊次馬爾可夫鏈稱為生滅過程。

　　物理、化學、生物、醫學等的許多實際模型都可以用生滅過程來描述，因此生滅過程有著廣泛的實際應用。不僅如此，生滅過程還有重要的理論研究意義。關於生滅過程的結果已經十分豐富。當α0=0，b0＞0時，隻有一個生滅過程的充分必要條件是

。

對上述條件不成立的情形，中國學者王梓坤於1958年建立瞭“極限過渡法”，構造瞭全部生滅過程。這個方法的基本思想是用較簡單的杜佈過程的軌道來逼近一般過程的軌道。此外，甚至對 α 0≥0， b 0＞0的情形，或更一般的雙邊生滅 Q矩陣（即

為一切整數）的情形，全部 Q廣轉移矩陣也都已構造出來。

　　一般馬爾可夫過程　設(E，B)為可測空間，X={X，t≥0}為一族取值於E的隨機變量，如果對任意的

B，以概率1有

　　　(2)

則稱 X為馬爾可夫過程。

　　馬爾可夫過程的定義還可以進一步擴充。第一，所謂"過去"可以作更廣泛的理解，即(2)中由

， X s所產生的 σ域（見 概率）可以擴大為一般的 σ域 F s，隻要 F s包含由｛ X， u≤ s｝產生的 σ域，而當 s＜ t時， 。如果對任意 s≥0， t＞0， A∈B，以概率1有

　(3)

則稱隨機過程 X={ X， t≥0}為馬爾可夫過程。第二，可以允許過程有壽命 ζ，其中 ζ是停時（見 隨機過程）。這時過程為 X={ X， t＜ ζ}。上述定義仍保留，但應作相應的修改，如{ X∈ A s∈ A， s＜ ζ)，(3)應理解為在{ s＜ ζ}上幾乎處處成立。

　　馬爾可夫過程的許多性質可以通過轉移函數來表達。轉移函數P(s，x，t，A)(0≤s≤t，x∈E，A∈B)是滿足某些條件的四元函數，它可以理解為過程在時刻s時處在x，在時刻t時轉移到A中的條件概率。如果P(s，x，t，A)=P(t-s，x，A)隻依賴於t-s，x及A，則稱轉移函數及相應的馬爾可夫過程為齊次的。設E是d維歐幾裡得空間Rd，B為Rd中的波萊爾域（見概率分佈）Bd，而且齊次轉移函數滿足下面的登金－金尼條件：對任意 ε>0，

· 。式中 Vε( x)={ y：｜ y- x｜≥ε}，那麼可以選取軌道連續的齊次馬爾可夫過程 X，以 p( t， x， A)為轉移函數。一類重要的軌道連續馬爾可夫過程是 d維佈朗運動。

　　強馬爾可夫過程　在馬爾可夫性的定義中，"現在"是指固定的時刻，但實際問題中常需把馬爾可夫性中的“現在”這個時刻概念推廣為停時（見隨機過程）。例如考察從圓心出發的平面上的佈朗運動，如果要研究首次到達圓周的時刻 τ以前的事件和以後的事件的條件獨立性，這裡τ為停時，並且認為τ是“現在”。如果把“現在”推廣為停時情形的“現在”，在已知“現在”的條件下，“將來”與“過去”無關，這種特性就叫強馬爾可夫性。具有這種性質的馬爾可夫過程叫強馬爾可夫過程。在相當一段時間內，不少人認為馬爾可夫過程必然是強馬爾可夫過程。首次提出對強馬爾可夫性需要嚴格證明的是J.L.杜佈。直到1956年，才有人找到馬爾可夫過程不是強馬爾可夫過程的例子。馬爾可夫過程理論的進一步發展表明，強馬爾可夫過程才是馬爾可夫過程真正研究的對象。

　　擴散過程　歷史上，擴散過程起源於對物理學中擴散現象的研究。雖然現在擴散過程的最一般的定義是軌道連續的馬爾可夫過程，但在1931年柯爾莫哥洛夫對於擴散過程的奠基性研究中，卻是按照轉移函數來定義擴散過程的。直線上的馬爾可夫過程，它有轉移函數P(s，x，t，A)，如果對任意ε>0，

　(4)

(5)

　(6)

而且上述極限關於 x是一致的，則稱此過程為一維擴散過程。粗略地說，這些條件刻畫瞭：在很短時間Δ t內，位移也是很小的，對指定的正數ε>0，位移超過ε的概率和時間Δ t相比可以忽略不計；在偏離不超過 ε的范圍內看，平均偏離與Δ t成正比，平均方差也與 Δ t成正比。稱(5)中的 α( t， x)為偏移系數，它反映偏離的大小；稱(6)中的 b( t， x)為擴散系數，它反映擴散的程度。

　　設轉移函數具有密度函數p(s，x，t，y)，則在適當的附加條件下，p(s，x，t，y)滿足方程

　　(7)

　(8)

(7)和(8)分別稱為柯爾莫哥洛夫向前方程和向後方程，也稱為福克爾－普朗克方程。如果轉移函數是齊次的，則 α( s， x)= α( x)， b( s， x)= b( x)與 s無關，且 p( t， x， y)滿足

(9)

　(10)

這樣，一維擴散過程與二階偏微分算子有密切的關系。反過來，在關於系數 α和 b的某些假定下，可以求上述方程的轉移密度解 p，從而可以決定一個馬爾可夫過程。然而，方程的轉移密度解即使存在也未必惟一，因此還要對方程的解附加某些邊界條件，以保持解的惟一性。例如，當 α( t， x)=0， b( t， x)= 2 D(常數 D＞0)時的向前方程

，附加邊界條件 =0的解是

這是稱之為維納－愛因斯坦過程的擴散過程的轉移密度函數。又例如，當 α( t， x)=- βx( β>0)， b( t， x)= 2 D>0時的向前方程 附加與上例同樣的邊界條件的解，是稱之為奧恩斯坦－烏倫貝克過程的擴散過程的轉移密度函數。

　　50年代，費勒引進瞭推廣的二階微分算子，用半群方法解析地研究瞭狀態空間E=[r1，r2]的擴散過程，解決瞭在r1和r2處應附加哪些邊界條件，才能使向後方程(10)有一個且隻有一個轉移密度函數解的問題，而且找出瞭全部這樣的邊界條件。對於E是開區間或半開半閉區間的情形也作瞭研究。登金、H.P.麥基恩及伊藤清等人對於擴散過程軌道的研究，闡明瞭費勒的結果的概率意義，從而使一維擴散過程有瞭較完整的理論。

　　多維擴散過程是和一個橢圓型偏微分算子聯系在一起的，它還有許多未解決的問題，但核心問題之一是多維擴散過程的存在性和惟一性問題；借助於偏微分方程和概率論方法已經得到一些結果。有趣的是，概率論得到的結果反過來也可以解決微分方程的求解問題，例如，可以把方程的解用一個馬爾可夫過程表現出來。

　　近年來，人們重視從軌道變化的角度來研究擴散過程。常用的方法是隨機微分方程和鞅問題的求解。流形上的擴散過程理論是近十年來日益受人們重視的新領域，它是用隨機微分方程研究擴散過程的必然延伸。

　　馬爾可夫過程與位勢理論　在空間中給定一個向量場，如果存在一個函數u使得它的負梯度就是給定的向量場，這個函數就是位勢。高斯在研究電荷分佈時提出瞭古典位勢理論。例如，在空間R3的某物體S中給定瞭一個電荷分佈μ，那麼空間點x處的電位勢為

一般地，對於空間 R 3中的測度 μ(通常假定具有支撐 S)，

稱為測度 μ的牛頓位勢。如果不計常數因子的差別，則 u可以用三維佈朗運動的轉移密度函數 p( t， x， y)表現出來：

如果假定 μ關於勒貝格測度有密度函數 f，則 u還可以通過三維佈朗運動{ X， t≥0}表現出來：

式中 E x表示對從 x出發的佈朗運動取 數學期望。再以和位勢理論緊密聯系的狄利克雷問題為例，它的解也可以用佈朗運動來表述。由此可見，佈朗運動與古典位勢之間存在著自然的對應關系。這種對應關系也存在於亨特過程和近代位勢理論之間。亨特過程就是軌道右連續且擬左連續的強馬爾可夫過程。所謂擬左連續，即對任何停時序列τ n↑τ，在(τ＜+∞)上，以概率1有 。

　　馬爾可夫過程的位勢理論主要有三個問題：狄利克雷問題、掃問題和平衡問題。對於佈朗運動，這三個問題都得到瞭很好的解決。