一種研究與測度變數之間關係的技術。對具有相關關係的現象,擇一適當的數學關係式,用以說明一個或一組變數變動時,另一變數或一組變數平均變動的情況,這種關係式稱為回歸方程。如果所擇關係式是線性的,就稱為線性回歸分析;反之,則稱為非線性回歸分析。線性回歸是回歸分析的基本模型,很多複雜的情況都是轉化為線性回歸進行處理的,因此線性回歸分析並不限於線性模型。回歸分析是社會研究中進行定量分析的基本方法,主要解決以下3個方面的問題:①確定幾個變數間是否存在相關關係(見相關分分析);若存在,則找出它們之間合適的數學表達式。②據一個或幾個變量值,預測或控制另一個或幾個變量的值,且要知道這種控制或預測可達何種精確度。③進行因素分析,即在共同影響一個變量的多個變量(因素)間,找出主要和次要因素及其相互關系。根據變量的數目,線性回歸可分為以下幾種。

  一元線性回歸 建立一元線性回歸方程

         ŷ=α+bx 來表示兩個變量。例如受教育年限與傢庭收入之間的關系。式中x是自變量,y是因變量,α是常數,b是回歸系數。ŷ表示當x取某一數值時,根據以上回歸方程所計算的對總體y的平均值的估計值。

  復回歸 用多元線性方程ŷ=α+b1x1+b2x2+…+bnxn說明因變量y和一組自變量(x1x2,…xn)。例如,因變量受教育年限y與自變量傢庭收入 x1、本人智力因素x2、健康狀況x3、社會環境x4、……間的關系。式中x為自變量的個數,ŷ為x1x2,…,xn取定值時,總體y的均值估計值。

  多變量復回歸 建立可表達x個自變量(x1x2,…,xn)與P個因變量(y1y2,…,yp)間關系的多元線性方程組

  

式中ŷ為根據回歸方程預測總體均值的估計值。

  復回歸與多變量復回歸都可稱作多元線性回歸。回歸分析中的回歸系數bi是在除去所有變量的影響後,xiy的影響,即自變量變化一個單位而使y平均改變的數值。這是對總體作一定的測定後,根據樣本觀測值采用最小二乘法求得的。在求得一個回歸方程後,還要考察它的效果如何,它對變量間關系的描述是否準確,如何利用它根據一組給定的自變量的值預測因變量的值,預測的精度如何。為此,必須對回歸進行統計檢驗。在多元回歸中,為瞭確定自變量的主次和重要性,可先將回歸方程標準化,此時的回歸系數稱為標準回歸系數,標準回歸系數大的,相應變量的作用越重要。多元回歸的另一個問題是,如何在眾多的因素中“挑選”變量,以建立對一組觀測數據“最優”的方程,包含所有對因變量y顯著的自變量和剔除對y不顯著的變量,常用的方法為逐步回歸,即從一個自變量開始,逐個把變量引入回歸方程,隨時檢驗,隨時剔除不合格者。多元回歸中的自變量,要避免引入相互關系很強的變量。應用線性回歸需註意以下幾點:①線性回歸模型要求因變量與自變量之間的關系是完全的直線關系,這一點在社會現象的研究中有時不能滿足。同時,自變量對因變量的影響,除瞭獨立作用外,往往還存在交互作用。在這種情況下,為瞭能使用線性回歸,可以把非線性關系的每一個高次項,以及存在交互作用的乘積項xixj都看作是新的自變量,以滿足線性回歸對自變量獨立作用的要求。

  ②回歸分析要求變量層次都在定距以上(見測量層次)。對於自變量層次是定類的,可采用0,1虛擬變量的方法。如性別是定類變量,為瞭能使用回歸分析,可在方程中設置一個虛擬變量D,並要求:

  當 D=0 表示男性;

    D=1 表示女性。 如果定類變量所分類別不止兩類,如文化程度分大學、中學和小學三類,這時可在回歸方程中設置2個虛擬變量D1D2,並要求:

  當 D1=0, D2=0 表示小學文化程度;

    D1=1, D2=0 表示中學文化程度;

    D1=0, D2=1 表示大學文化程度。

  ③對於定序變量,如果所分等級較少,亦可采用虛擬變量的方法。如所分等級較多,亦可按定距變量處理。

  回歸分析與相關分析都是研究及測度變量間關系的技術。不同的是,相關分析是探討變量間關系的密切程度,回歸分析則是探求變量間關系究竟為何種形式。兩種分析均可不依賴對方而獨自進行,通常對關系的兩個方面都進行分析。