研究動態系統穩定性的判別和分析的方法。穩定性是系統在初始狀態變化後的運動能保持在有限邊界區域內或回復到原平衡狀態的一種性能。穩定是一切自動控制系統必須滿足的一個性能指標。穩定性問題是自動控制理論研究的基本問題之一。穩定性理論形成於19世紀末並限於由常微分方程描述的動態系統，它指出任何一個系統中特定運動的穩定性均等價於由該運動與系統確定的另一描述擾動的系統零解（平衡狀態）的穩定性，對於線性系統則其任何運動的穩定性均等價於平衡點即零解的穩定性。因此，穩定性理論論中總是以討論系統零解的穩定性為主。現今，穩定性理論的研究不再限於由微分方程描述的連續系統，已經拓展到由差分方程描述的離散系統和由算子方程描述的分佈參數系統。
基本概念 系統零解是穩定的指對任何零解的一個鄰域A，對任何初始時刻t0總存在零解的另一鄰域B(t0,A)，當t0時刻系統的初始狀態位於B(t0,A)內時，就能保證對一切t≥t0系統的解均保持在A內。進而，若對應的解還同時以零解為極限，則系統的零解稱為是漸近穩定的。
判別方法 對於線性定常系統，穩定性可以由系統確定的特征根的實部的符號來判定：當所有特征根實部均為負時，系統的零解是漸近穩定的；當所有特征根實部均非正而對應零實部的特征值均為單特征值時，系統的零解是穩定的；當為其他情形時，系統的零解為不穩定。在經典控制理論中，線性定常系統的零解漸近穩定可以直接由系統的特征多項式的系數滿足的條件進行判定，這就是代數穩定判據。代數穩定判據由於方法直觀、計算簡便至今仍是控制系統穩定性研究的主要方法，並在魯棒穩定性分析中起重要作用。
對於時變與非線性系統的穩定性，有效的方法是李雅普諾夫第二方法。對於定常系統x＝f(x)，若能求得一連續函數V(x)，它是正定的，即V(x)>0、對x≠0成立，且V(0)=0，其沿系統解對時間的導數
V(
x)=
W(
x)，若
W(
x)≤0即
W(
x)是半負定的，則系統的零解是穩定的；若
W(
x)是負定的，則系統的零解是漸近穩定的。但是，李雅普諾夫函數方法隻是充分性判據。
對於時變系統無論是線性系統還是非線性系統，系統零解的穩定性與漸近穩定性均與初始時刻有關。當確定初始擾動的范圍B(t0,A)與t0無關時，則系統的零解為一致穩定。若收斂至零的最慢速度獨立於t0，則為一致漸近穩定。當系統的零解是一致漸近穩定時，用來判斷這種漸近穩定性的李雅普諾夫函數一定存在，即李雅普諾夫方法的反問題有解，此時李雅普諾夫函數法也是必要性判據。
有界輸入–有界輸出穩定性 控制系統穩定性的另一提法是系統在有界輸入下是否具有有界輸出。若是則稱系統是穩定的，否則系統是不穩定的。通常，稱這類穩定性為有界輸入–有界輸出穩定性，簡稱BIBO穩定性。對於線性定常系統，在能控與觀測的條件下，有界輸入–有界輸出穩定等價於系統在無控制下的零解是漸近穩定的。對於線性時變系統，當能控與能觀測均具有一致性時，這種等價性也成立。線性定常控制系統的BIBO穩定性，常采用描述系統的傳遞函數或頻率特性來判定，已經發展為一種有效的頻率域方法。