16、17世紀的歐洲，漫長的中世紀已經結束，文藝復興帶來瞭人們的覺醒，束縛人們思想自由發展的煩瑣哲學和神學的教條權威逐步被摧毀瞭。封建社會開始解體，代之而起的是資本主義社會，生產力大大解放。資本主義工廠手工業的繁榮和向機器生產的過渡，促使技術科學和數學急速向前發展。例如在航海方面，為瞭確定船隻的位置，要求更加精密的天文觀測。軍事方面，彈道學成為研究的中心課題。準確時計的製造，運河的開鑿，堤壩的修築，行星的橢圓軌道理論等等，也都需要很多複雜的計算。古希臘以來來的初等數學，已漸漸不能滿足當時的需要瞭。
在科學史上，這一時期出現瞭許多重大的事件，向數學提出新的課題。首先是N.哥白尼提出地動說，使神學的重要理論支柱的地心說發生瞭根本的動搖。他的弟子G.J.雷蒂庫斯見到當時天文觀測日益精密，推算詳細的三角函數表已成為刻不容緩的事，於是令半徑等於1015，作每隔10″的正弦、正切及正割表。當時全憑手算，雷蒂庫斯和他的助手勤奮工作達12年之久，直到死後才由他的弟子V.奧托完成刊行於世(1596)。
16世紀下半葉，丹麥天文學傢T.第谷進行瞭大量精密的天文觀測，在這個基礎上，德國天文學傢J.開普勒總結出行星運動的三大定律（1609，1619），導致後來牛頓萬有引力的發現(1687)。開普勒的《酒桶的新立體幾何》(1615)將酒桶看作由無數的圓薄片累積而成，從而求出其體積。這是積分學的前驅工作。意大利科學傢伽利略主張自然科學研究必須進行系統的觀察與實驗，充分利用數學工具去探索大自然的奧秘。這些觀點對科學（特別是物理和數學）的發展有巨大的影響。他的學生（F.）B.卡瓦列裡創立瞭“不可分原理”，它是以下面的主張為基礎的：一條線由無窮多個點構成，一個面由無窮多條線構成，一個立體由無窮多個面構成。依靠這個原理他解決瞭許多現在可以用更嚴格的積分法解決的問題。“不可分”的思想萌芽於1620年，深受開普勒和伽利略的影響，是希臘歐多克索斯的窮竭法到牛頓、萊佈尼茨微積分的過渡。
16世紀的意大利，在代數方程論方面也取得瞭一系列的成就。N.塔爾塔利亞、G.卡爾達諾L.費拉裡、R.邦貝利等人相繼發現和改進三次、四次方程的普遍解法，並第一次使用瞭虛數。這是自希臘丟番圖以來代數上的最大突破。法國的F.韋達集前人之大成，創設大量代數符號，用字母代表未知數，改良計算方法，使代數學大為改觀。
在數字計算方面，S.斯蒂文系統地闡述和使用瞭小數(1585)，接著J.納皮爾創制瞭對數(1614)，大大加快瞭計算速度。以後B.帕斯卡發明瞭加法機(1642)，G.W.萊佈尼茨發明瞭乘法機(1673)，雖然未臻於實用，但開辟瞭機械計算的新途徑。
17世紀初，初等數學的主要科目（算術、代數、幾何、三角）已基本形成，但數學的發展正是方興未艾，它以加速的步伐邁入數學史的下一個階段：變量數學時期。這一時期和前一時期（常稱為初等數學時期）的區別在於前一時期主要是用靜止的方法研究客觀世界的個別要素，而這一時期是用運動的觀點探索事物變化和發展的過程。
變量數學以解析幾何的建立為起點，接著是微積分學的勃興。這一時期還出現瞭概率論和射影幾何等新的領域。但似乎都被微積分的強大光輝掩蓋瞭。分析學以洶湧澎湃之勢向前發展，到18世紀達到瞭空前燦爛的程度，其內容的豐富，應用之廣泛，使人目不暇接。
這一時期所建立的數學，大體上相當於現今大學一二年級的學習內容。為瞭與中學階段的初等數學相區別，有時也叫古典高等數學，這一時期也相應叫做古典高等數學時期。
解析幾何的產生，一般以R.笛卡兒《幾何學》的出版(1637)為標志。這本書的內容不僅僅是幾何，也有很多代數的問題。它和現在的解析幾何教科書有很大的差距，其中甚至看不到“笛卡兒坐標系”。但可貴的是它引入瞭革命性的思想，為開辟數學的新園地作出瞭貢獻。《幾何學》的主要功績，可以歸結為三點：①把過去對立著的兩個研究對象“形”和“數”統一起來，引入瞭變量，用代數方法去解決古典的幾何問題；②最後拋棄瞭希臘人的齊性限制（如堅持把x2看作面積，x3看作體積，因此兩者不能相加等等）；③改進瞭代數符號。
P.de費馬分享著解析幾何創立的榮譽，在時間上可能早於笛卡兒，不過發表很晚(1679)。他是一個業餘數學傢，在數論、概率論、光學等方面均有重要貢獻。他已得到微積分的要旨，曾提出求函數極大極小的方法。他建立瞭很多數論定理，其中“費馬大定理”最有名，不過隻是一個猜想，至今仍未得到證明。
對概率論的興趣，本來是由保險事業的發展而產生的，但促使數學傢去思考一些特殊的概率問題卻來自賭博者的請求。費馬、帕斯卡、C.惠更斯是概率論的早期創立者，以後經過18、19世紀P.-S.拉普拉斯、S.-D.泊松等人的研究，概率論成為應用廣泛的龐大數學分支。
和解析幾何同時，17世紀在幾何領域內還發生瞭另一場重大的變革，這就是射影幾何的建立。決定性的進步是G.德紮格和帕斯卡的工作。前者引入瞭無窮遠點、無窮遠線，討論瞭極點與極線、透射、透視等問題，他所發現的“德紮格定理”是全部射影幾何的基本定理。帕斯卡1640年發表的《圓錐曲線論》，是自阿波羅尼奧斯以來圓錐曲線論的最大進步。可是當時的數學傢大多致力於分析學的研究，射影幾何沒有受到重視，直到18世紀末才重新引起人們的註意。
17世紀是一個創作豐富的時期，而最輝煌的成就是微積分的發明。它的出現是整個數學史也是整個人類歷史的一件大事。它從生產技術和理論科學的需要中產生，同時又回過頭來深刻地影響著生產技術和自然科學的發展。微積分對於今天的科技工作者來說，已經象佈帛菽粟一樣，須臾不可離瞭。
微積分是經過瞭長時間的醞釀才產生的。積分的思想，早在阿基米德時代已經萌芽，16、17世紀之交，開普勒、卡瓦列裡、費馬、J.沃利斯特別是I.巴羅等人作瞭許多準備工作。作為微分學中心問題的切線問題的探討，卻是比較晚的事，因而微分學的起點遠遠落在積分學之後。17世紀的著名數學傢（主要是法國）如費馬、笛卡兒、G.P.羅貝瓦爾、德紮格等人都曾卷入“切線問題”的論戰中。笛卡兒和費馬認為切線是當兩個交點重合時的割線。而羅貝瓦爾則從運動的角度出發，將切線看作描畫這曲線的運動在這點的方向，這觀點至今在力學上還有實際意義。
牛頓、萊佈尼茨的最大功勞是將兩個貌似不相關的問題聯系起來，一個是切線問題（微分學的中心問題），一個是求積問題(積分學的中心問題)，建立起兩者之間的橋梁，用微積分基本定理或者“牛頓-萊佈尼茨公式”表達出來。
在I.牛頓1665年5月20日(格裡歷31日)手寫的一頁文件中，有微積分的最早記載，但他的工作長久沒有人知道，直到1687年才用幾何的形式摘記在他的名著《自然哲學的數學原理》中。牛頓建立微積分主要從運動學的觀點出發，而萊佈尼茨則是從幾何學的角度去考慮。特別和巴羅的“微分三角形”有密切關系。萊佈尼茨第一篇微分學的文章1684年在《學藝》上發表，第一篇積分學的文章1686年在同一雜志發表。他所創設的符號遠優於牛頓，故為後世所沿用。它的理論很快就得到G.-F.-A.de洛必達(1696)、伯努利傢族和L.歐拉等人的繼承和發揚光大，到18世紀進入瞭一個豐收的時期。
任何一項重大發明，都不可能一開始便完整無瑕。17世紀的微積分帶有嚴重的邏輯困難，以致受到多方面的非議。它的基礎是極限論，而牛頓、萊佈尼茨的極限觀念是十分模糊的。究竟極限是什麼，無窮小是什麼，這在當時是帶有根本性質的難題。盡管如此，微積分在實踐方面的勝利，足以令人信服。大多數數學傢暫時擱下邏輯基礎不顧，勇往直前地去開拓這個新的園地。
17世紀數學發展的特點，可以概括如下。
①產生幾個影響很大的新領域 解析幾何、微積分、概率論、射影幾何等。每一個領域都使古希臘人的成就相形見絀。
②代數化的趨勢 希臘數學的主體是幾何學，三角學從屬於幾何，代數的問題往往也要用幾何方法去論證。17世紀的代數學比幾何學占有更重要的位置，它沖破希臘人的框框（如齊性要求等），進一步向符號代數轉化。幾何問題常常反過來用代數方法去解決。
③大量新概念出現 如無理數、虛數、瞬時變化率、導數、積分等等都不是經驗事實的直接反映而是由數學理論進一步抽象所產生。
④數學和其他自然科學緊密聯系 實驗科學（從伽利略開始）的興起，促進數學的發展，而數學的成果又滲透到其他科學部門中去。許多數學傢，如牛頓、萊佈尼茨、笛卡兒、費馬等，本身也都是天文學傢、物理學傢或哲學傢。
⑤數學知識廣泛交流傳播 希臘時代隻有少數人在研究數學，直到16世紀，情況並無多大改變。17世紀研究人員大增，學術團體（學會或學院）相繼成立，加上印刷業的興旺發達，數學知識得到普遍的推廣和應用。
總的來說，17世紀是許多新興科目的始創階段，而18世紀是充實和發揚階段，19世紀是回顧、推廣和改革階段，並以嶄新的姿態進入下一個世紀。