測量工作和科學實驗中常用的一種資料處理方法，由A.-M.勒讓德和C.F.高斯於19世紀初分別獨立提出。例如，根據實驗觀測得到的引數x和因變數y之間的一組對應關係(x1，y1)，(x2，y2)，…，(xm，ym)，找出一個給定類型的函數y＝f(x)（如線性函數y=αx+b)或二次函數y=αx2+b)x+с等），使它在觀測點x1，x2，…，xm處所取的值f(x1)，f(x2)，…，f(xm)與觀測值y1，y2，…，ym在某種尺度下最接近。常用的一種尺度和處理方法是：確定函數f(x)中的參數(如前述例子中的參數α和b)或α、b)和с)，使在各點處偏差
的平方和
達到最小。如果
f(
x)是所有待定參數的線性函數（譬如
f(
x)是多項式或其他已知函數的線性組合），相應的問題稱為線性最小二乘問題。工程技術和科學實驗中有大量利用最小二乘法建立的經驗公式。
從幾何意義上講，上述問題等價於確定一平面曲線（類型先給定），使它和實驗數據點“最接近”，故又稱為曲線擬合問題。它和插值法不同，並不要求曲線嚴格通過已知點。由於實驗數據常帶有觀測誤差和其他隨機因素，所以與實驗數據保持一致的插值法往往反倒不如最小二乘法得到的曲線更符合客觀實際。
線性最小二乘問題 設
，其中
α
1，
α
2，…，
α
n為待定參數；
φ
1，
φ
2，…，
φ
n為選定的已知函數（當
時，
f(
x)為多項式）。實驗數據為(
x
1，
y
1)，(
x
2，
y
2)，…，(
x
m，
y
m)。通常
m比
n大得多。令
(
i=1，2，…，
m；
j=1，2，…，
n)，並以
C表示以с
ij為元素的
m×
n階矩陣，
和
分別為
n和
m維列向量，用這樣的矩陣及向量記號，最小二乘問題可表為：求向量
，使
， (1)
式中記號‖·‖
2表示向量的歐氏長度。由微分學求極小值的方法可推得待定參數，
α
1，
α
2，…，
α
n滿足方程組
。 (2)
這個方程稱為最小二乘問題的法方程，它的解即為最小二乘解。如果
C為列滿秩(即它的列向量線性無關)，則
C
T
C為非奇異的
n×
n階矩陣，而方程組(2)有惟一解。如果
C不是列滿秩，則(2)的解不惟一。但具有最小歐氏長度的解是惟一的，這個解稱之為極小最小二乘解。以
C
+表示
C的穆爾-彭羅斯廣義逆矩陣（見
廣義逆矩陣），則不論哪種情況，最小二乘問題(1)的解可表為
。
求最小二乘解的QR分解法 當m較大時（實際問題多如此），CTC往往是病態矩陣，因而從法方程(2)求最小二乘解是不利的。直接從矩陣C出發，進行所謂QR分解，則不僅可避免上述弊端，而且具有較好的數值穩定性。這個方法的原理是：對任意m×n階矩陣C，存在m×m階正交陣Q，使
，
式中
R是
n×
n階上三角陣。當
C為列滿秩時，
R是非奇異的。由於在正交變換下向量的歐氏長度不變，所以
(3)
式中
y
1
*和
y
2
*分別表示向量
的前
n個分量和後(
m-
n)個分量所組成的向量。從(3)可看出方程
的解正是所求的最小二乘解。矩陣
C的QR分解，也就是陣矩
Q
T的形成，可用一系列的豪斯霍爾德變換來實現。
參考書目
C.L.Lawson and R.J.Hanson，Solving LeastSquares Problems，Printice-Hall，Englewood Cliffs，New Jersey，1974.
南京大學計算數學專業編：《最優化方法》，科學出版社，北京，1978。