恢復力與位移不成正比或阻尼力不與速度一次方成正比的系統的振動。儘管線性振動理論早已相當完善，在工程上也已取得廣泛和卓有成效的應用，但在實際問題中，總有一些用線性理論無法解釋的現象。一般說，線性模型隻適用於小運動範圍，超出這一範圍，按線性問題處理就不僅在量上會引起較大誤差，而且有時還會出現質上的差異，這就促使人們研究非線性振動。
非線性特徵 瞭解非線性振動的一些典型特徵，對非非線性問題的處理以及非線性振動理論的應用，都會有所啟發。
固有頻率特性 線性系統的固有頻率不依賴於運動的初始條件，而隻與系統的參量(質量與剛度)有關。非線性振動系統則不然。由於剛度隨變形大小而變化，因而系統的固有頻率也隨運動幅度大小而變化。剛度隨變形增大而增大的彈簧，稱為漸硬彈簧；反之，稱為漸軟彈簧。漸硬非線性系統的固有頻率隨振幅變大而變大；漸軟非線性系統則相反。三種彈簧的彈力隨變形的變化見圖1。
自激振動 非線性自治系統具有等效負阻尼時，調節等效阻尼到零的情況下所存在的定常周期振動。自治系統是指運動微分方程中不顯含時間t的系統。在線性自治系統中出現的運動形式隻有三種：發散型、保守型和衰減型。發散型對應於負阻尼情形，保守型對應於無阻尼情形，衰減型對應於正阻尼情形。隻在保守情況下，系統的運動才是諧和的，按能量大小，形成一族振幅連續分佈的（即非孤立的）周期運動。
非線性自治系統，除瞭在保守情況仍有非孤立的周期運動外，在非保守情況也可能出現孤立的周期運動。當阻尼為非線性時，阻尼系數隨運動而變化，因而有可能在小振幅下，等效阻尼是負的；在大振幅下，等效阻尼是正的；在某個中間的振幅，相應的等效阻尼為零，與此相應，存在一個定常周期振動，稱為自激振動，簡稱自振。這種振動是孤立的，其幅值變化和周期僅取決於系統參量，在一定范圍內與初始狀態無關。
弱非線性系統的自振是接近於諧和的；強非線性系統的自振則是遠離諧和的。後者在振動中，緩慢地積累能量的過程與幾乎是瞬時地釋放能量的過程在交替進行，因而形象地稱為張弛振動。振動的圖像見圖2，圖中x為位移，t為時間。
跳躍現象 非線性系統的振幅(A)對諧和外擾頻率(ω)的曲線可有幾個分支，緩慢地變動擾動頻率，可在某些頻率出現振幅的突變現象。和線性系統不同，描述非線性系統的微分方程，在同一組參量下可能有多個周期解；而隻有那些滿足穩定性條件的解，才對應有物理上可實現的運動。在非線性系統中，運動的多樣性和穩定性不可忽視。
具有非線性恢復力的系統在諧和外擾作用下的定常響應曲線，往往在某些頻帶上有幾個分支（圖3）；因而對應於同一個擾頻，可以有幾個不同幅值的穩定的定常受迫振動。若擾力的幅值保持不變，而其頻率緩慢地改變，則當擾頻變到某些值，例如圖3中的ω1與ω2處，兩個定態振動之間就發生跳躍現象：當擾頻單調上升至ω2處時，從3跳到4；當擾頻單調下降到ω1處時，從6跳到2。因此，跳躍現象又稱振動回滯。如保持擾頻不變，而緩慢地改變擾力幅度，也可能出現類似的跳躍現象。
亞諧共振 幹擾力作用於非線性系統所激發的頻率比幹擾頻率低整數倍的大幅度振動。固有頻率為ωn≈ω/n(n為正整數)。對線性系統，在頻率為ω的諧和外擾作用下，隻能產生頻率為ω的定常受迫振動。但具有非線性恢復力且固有頻率接近於ωn的系統，在受到頻率為ω的諧和外擾時，有可能產生頻率為ω/n的定常受迫振動，稱為亞諧共振或分頻共振。理論和實驗研究證明，亞諧共振的出現，不僅依賴於系統的參量，而且還依賴於初始條件。
自振系統在諧和外擾作用下，也可能產生亞諧共振。亞諧共振可解釋為：由於外擾對自由振動高諧分量所作的功而維持的受迫振動。
同步現象 幹擾力頻率接近自振系統固有頻率到一定程度時，所激起的振動中隻包含幹擾力頻率而自振頻率被俘獲的現象。17世紀，C.惠更斯已觀察到：快慢稍微不同的兩隻時鐘，掛在同一壁板上會保持同步計時。
在自振頻率為ω0的電子管振蕩器中，設在柵極回路加上頻率為ω的激勵，則在ω接近ω0時，按線性理論，輸出中必然有拍頻為|ω－ω0|的信號。實際上，當|ω－ω0|小於某個閾限時，拍頻就突然消失，隻剩下頻率為ω的輸出，即自振和受迫振動發生同步，或者說自振頻率被擾頻所俘獲，因而這一現象也稱為頻率俘獲。
同步現象已被有效地利用於振蕩器的穩頻以及振動機械的同步激振。同步現象不僅出現在擾頻和自振頻率相近的區域，在一定條件下，也可出現在擾頻的整分數倍和自振頻率相近的區域，這種現象稱為亞諧同步。
參變激發 周期地改變系統的某個參量而激起系統的大幅振動。例如單擺支點在作鉛垂振動時，擺的下鉛垂平衡位置在一定條件下會喪失穩定性。當系統的固有頻率等於或接近參量變化頻率的一半時，參變激發現象最易產生。
參變鎮定 參量的周期變化使系統穩定的現象。例如倒立擺支點沿鉛垂方向作適當振動時，擺的上鉛垂平衡位置有可能變成穩定的。
解法 對於非線性系統，疊加原理不再適用，因而非線性問題沒有一般的解法。通常隻能用一些特殊方法來探索非線性系統的重要運動，這些方法又分定性和定量兩類，兩者相輔相成。
定性法 常用的是相平面法。將二階自治系統的運動微分方程寫作：
式中
P(
x，
y)、
Q(
x，
y)是實解析函數。從方程中消去變量
t，得：
把
x、
y看作平面內一點的直角坐標，這個平面稱為相平面，點(
x，
y)稱為相點。相點描述系統在某一瞬時的運動狀態。對應於系統的任一特定的運動
x＝
x(
t)，
y＝
y(
t)，相平面上皆有一條確定的曲線，稱為相軌。相軌描述系統的整個運動狀態。在相平面上，凡是
P(
x，
y)、
Q(
x，
y)同時為零的點都稱為奇點。在動力學問題中，奇點對應於系統的平衡狀態。一個奇點，若從它的鄰域內出發的積分曲線都向它趨近，或者始終逗留在它的鄰域內，稱為穩定奇點；否則稱為不穩定奇點。
二階自治系統的相軌中有一類孤立的閉軌具有特殊重要意義，這類閉軌稱為極限環。從它一側鄰域內任一點出發的相軌，或者都趨近它，或者都離開它。一個極限環，若內外兩側鄰域內的相軌都向它趨近，就是穩定的；否則就是不穩定的。穩定的極限環對應於物理系統中的自振。極限環和保守系統自由振動的閉軌的根本區別為：極限環是孤立的，即在它的鄰域內不存在其他閉軌；極限環所對應的周期振動不依賴於系統的初始條件。
定量法 較為常用的是平均法。考察單自由度非線性自治系統：
ü+ω02u＝εf(u，蓏)， (1)
式中ε為小參量。當ε＝0時，方程解的形式為：
u＝acos(ω0t+β)≡acosφ， (2)
式中a、β為常數。當ε≠0而取小值時，式(1)的解仍可取式(2)的形式，不過其中的a、β為t的函數，而不再是常數。這樣，式(2)也可看作是一種變換：將因變量u(t)變換成因變量a(t)和β(t)。為瞭消除變換的任意性，還需附加一個條件，即取速度蓏仍具有ε=0時的形式：
蓏＝-ω0asinφ。 (3)
將式(2)對t求導，得：
蓏＝-ω0asinφ+ȧcosφ-a顓sinφ。 (4)
式(4)與式(3)相比，得：
ȧcosφ-a顓sinφ＝0。 (5)
將式(3)對t求導，則有：
ü=-ω02acosφ-ω0ȧsinφ-ω0a顓cosφ。 (6)
將式(6)代入式(1)，得：
ω0ȧsinφ+ω0a顓cosφ＝-εf(acosφ，-ω0asinφ)。(7)
由式(5)和式(7)，可解得：
(8)
式(8)等價於式(1)，因為在推導過程中未作任何近似假設。不過式(8)仍不便於積分。考慮到當ε小時，ȧ與顓均為小量，在振動的一周內可看作常量，因而可將式(8)右端對φ求平均，由此得近似方程：
(9)
作為例子，考察瑞利方程：
ü+ω02u＝ε(蓏-蓏3)，
這時，有f(u，蓏)=蓏-蓏3。由式(9)可得：
(10)
從式(10)可解得a的定常解：a＝0與
。前者對應於(
u，蓏)相平面上的不穩定奇點，即對應於系統不穩定的平衡狀態；後者對應於(
u，蓏)相平面上穩定的極限環，即對應於系統穩定的自激振動。