研究生態學中的行為機制和動物行為的生態學功能與進化意義的學科，即研究動物行為的功能、存活值、適合度和進化過程。主要包括兩個方面的含義，即研究動物在自然環境條件下的行為，一些行為學理論如博弈論在某種行為如攝食行為上的應用。之所以稱作行為生態學，是因為動物行為對動物的存活和繁殖的作用方式受生態因素的影響。行為生態學不僅研究動物如何通過利用各類資源和回避捕食者而達到持續生存，同時還研究動物行為如何提高繁殖成功率。
行為生態學是是行為學和生態學的交叉學科，最早由生態學傢從生態學角度提出。與此相對應，行為學傢則從行為學的角度提出瞭生態行為學。生態行為學主要研究動物的行為與其環境之間的相互關系，或著重研究一個彼此有親緣關系的動物類群，或著重研究同一生境內的各個物種。雖然兩個學科研究問題的角度不同，但總的目標是一致的，都是研究行為和生態的關系。
簡史 行為生態學源於20世紀60年代初期發展起來的4個學派：①英國的J.H.克魯克和D.拉克把鳥類和靈長類的社會組織同各種生態因素聯系起來加以研究，提出瞭比較研究法。比較研究法開創瞭從生態學角度解釋動物社會組織的新途徑，是行為生態學研究的重要手段之一。②W.D.漢密爾頓和J.M.史密斯1964年首次提出瞭親緣選擇和廣義適合度的概念，從基因層次提供瞭各種利他行為和自私行為的證據。③N.廷伯根等人用簡單的野外實驗和觀察法確定瞭測定行為存活值和適合度的方法，為自然行為的試驗觀察提供瞭堅實的科學基礎。④R.H.麥克阿瑟及其同事提出最優化理論和進化穩定對策這兩個概念，對行為生態學發展起瞭很大作用。
1973年諾貝爾獎頒獎委員會將生理學或醫學獎授予K.洛倫茨，N.廷伯根和K.von 弗裡施3位行為學傢，這大大促進瞭行為生態學的發展。1978年，在英國出版瞭第一本行為生態學論文集《行為生態學：進化研究途徑》。1981年，牛津大學的J.R.克雷佈斯和劍橋大學的N.B.戴維斯合作編寫瞭第一本系統介紹行為生態學理論和內容的專著《行為生態學引論》。這兩本書的出版標志著行為生態學開始走向瞭成熟。
行為生態學的發展非常迅速，現已發展成為一門除行為學和生態學外，還涉及生理學、心理學、遺傳學、進化論、社會學、經濟學、分子生物學和神經生物學的一門綜合性學科。
核心內容 動物行為表面看起來各式各樣，如求偶、占有領地、集群、儲食越冬、營巢、育幼、親代關懷等，但隻要從進化論和生態學角度進行分析研究，這種多樣性就成為可理解的、有規律的生物學現象。動物行為是動物個體或社群適應內外環境變化（刺激）所作的反應，是對周圍的生物和非生物環境條件變化的一種動態適應。動物的行為特征與形態和生理特征一樣，不僅同時受遺傳和環境兩方面的影響，而且是在進化過程中通過自然選擇形成的，因而同樣具有種的特異性。N.廷伯根曾提出動物行為學是研究動物行為的發生原因、發育、進化和功能的一門學科。其中，行為發生的原因和功能是行為生態學研究的核心內容。比如在非洲獅的繁殖行為中，存在三個非常有趣的現象：①不同獅群的雌獅在一年的繁殖時間不同，但是同一個獅群的雌獅基本在相同的時間繁殖，即發情的同步化；②在持續2～4天的動情高潮期中，雌獅會與獅群中的所有雄獅交配；③獅群的雄獅發生更換時，會有很多幼獅死亡。科學傢經過研究發現，雌獅發情同步化的原因是雌獅的外激素影響瞭獅群中其他雌獅的動情周期；其發情同步化的功能在於能夠使獅群中的幼仔在大致相同的時間出生，而這樣能夠提高幼仔的成活率。
在研究行為的原因和功能的同時，行為生態學也著重研究和發展一些新的理論和方法，其中進化穩定對策是行為生態學中最重要的內容之一，也是自達爾文以來進化理論最重要的一個發展。
最適模型研究也是行為生態學中的重要內容。行為生態學的一個重要特點就是在把生態學同行為學、遺傳學和進化論等學科結合的同時，還引入瞭經濟學的思想和方法，探索新的理論。動物行為具有投資和收益的兩重性，自然選擇使動物最大限度地獲取凈收益（收益減去投資），這就是行為學中經常遇到的權衡問題。衡量凈收益的最終標準是測定基因對未來世代的貢獻率，而這種貢獻又取決於動物的行為表現如覓食效率、生殖成功率和反捕食行為的有效性等。基於經濟學中投資–收益分析方法，行為生態學傢通過建立最適模型來預測在行為的投資和收益之間應做出怎樣的決策才能獲得最大的凈收益。
除上述理論外，利他行為、親代撫育和婚配體制、通信行為等也是行為生態學研究的主要內容。根據行為的不同功能，又可將行為生態學分為以下幾個分支：取食行為生態學、防禦行為生態學、繁殖行為生態學、社會行為生態學、學習行為生態學、通信行為生態學、時空行為生態學（如生境選擇、定向和導航、巢域和領地等）、植物行為生態學和最適行為預測等。
研究狀況 行為生態學的理論和方法發展非常迅速。在動物行為功能、進化穩定對策、行為經濟學和最適模型、捕食者與被捕食者之間的協同進化過程、社群生活及社群最適大小、博弈論及其應用、性選擇、親代撫育和婚配體制、利他行為與生殖合作和通信行為方面都開展瞭相應的研究工作，同時還對植物行為生態學進行瞭研究。現代行為生態學研究大致體現如下特點：①以傳統手段對一些理論的進一步驗證，比如進化穩定對策(ESS)理論、最適模型等。主要通過描述性觀察、室內實驗等。②從分子水平探討行為機制，尤其側重研究行為、生態和進化的關系，並取得瞭一定的突破。
行為生態學在中國的發展歷史不長，但從1984年北京大學尚玉昌教授首先在《生態學》雜志以講座的形式介紹瞭行為生態學的有關理論後，中國行為生態學研究開始形成和發展。行為生態學的發展趨勢是融合分子生物學、神經生物學、生理學和遺傳學等學科的理論和方法，進一步從分子水平探討行為產生的機制、功能和進化過程及其意義。