中國的數學教育有悠久的歷史，早在西周時期，數學已作為“六藝”之一，成為專門的學問，唐初國子監增設算學館，設有算學博士和助教，使用李淳風等編纂註釋的《算經十書》為教材。明代算科考試亦以這些教材為準（見中國數學史）。
近現代的初等數學教育，可以說是在晚清(1903)頒佈癸卯學制，廢除科舉，興辦小學、中學後才開始的。當時小學設算術課，中學設數學課（包括算術、代數、幾何、三角、簿記）。民國初年(1912～1913)公佈壬子癸醜學學制，中學由五年改為四年，數學課程不再講授簿記。執行時間最久的是1922年公佈的壬戌學制，將小學、中學都改為六年，各分初高兩級，初小四年，高小二年，初高中皆三年。初中數學講授算術、代數、平面幾何，高中數學講授平面三角、高中幾何、高中代數、平面解析幾何（高中曾分文理兩科，部分理科加授立體解析幾何和微積分初步），這個學制基本沿用到1949年。中華人民共和國成立後，中小學的教育進行瞭改革，學制大都改為小學六年，初高中各三年，初中逐步取消算術課。50年代高中數學一度停授平面解析幾何，後又恢復並增授微積分初步以及概率論和電子計算機的初步知識。
中國近代高等數學教育，也是從清朝末年開始的。1862年洋務派創辦的京師同文館，本來是個外語學校，從1866年增設天文算學館，1867年招生，開始向中等專科學校轉變。1868年聘李善蘭為總教習，設代數、幾何（原本）、平面和球面三角、微積分等課程，可以認為，這是向中國學生較系統地傳授西方高等數學基礎知識的開始。1898年戊戌變法中，京師大學堂成立，這是中國近代第一個國立大學。1902年，同文館並入京師大學堂。
辛亥革命後，1912年京師大學堂改名北京大學，首創數學門（相當於系），1919年改稱數學系，這是中國第一個數學系。隨著較早成立數學系的有南開大學(1920)、廈門大學(1926)、中山大學(1926)、四川大學（1926年前後）、清華大學(1927)、浙江大學（1928）等。此外，1912～1915年間，還成立瞭北京高等師范學校（1912，前身是1902年設立的京師大學堂師范館）、武昌高等師范學校(1913)、南京高等師范學校(1915)，各設立數學物理（化學）科，他們先後改為北京師范大學(1922)、武漢大學(1928)、東南大學（1923；1928年又改為中央大學），並都成立瞭數學系，其間或以後成立的其他綜合大學、師范院校以及設有理科的高等學校都陸續成立數學系。
各校建系初期，實施的數學教育差別很大，後來教育部才對必修課作瞭原則規定。主要授課教師多半是歸國留學生，所用教材，除少數自編者外，多數是外文本或其中譯本。從課程設置看，高等院校的數學教育水平不低，但各校的教學質量差異不小。數學系學生，每校每年級一般都隻有少數幾個人。
1931年清華大學開始培養數學研究生，後繼者有浙江大學、中央大學、北京大學以及抗日戰爭期間由北京大學、清華大學、南開大學組成的（昆明）西南聯合大學，數學的研究工作也比較集中在這幾所學校。其中清華大學、浙江大學、武漢大學等還出版瞭刊物，登載數學論文。
除瞭在國內培養數學人才外，還通過一些渠道派遣留學生，例如利用中美庚款、中英庚款和中法庚款公開考試派送的留學生中，都有數學名額。30年代還曾邀請少數外國數學傢如 W.F.奧斯古德、N.維納、J.（-S.）阿達馬等來華講學。
從辛亥革命到中華人民共和國成立，是中國現代數學教育的奠基時期，不少老一輩數學傢如薑立夫、熊慶來、陳建功等克服重重困難，艱苦創業，培養瞭一批數學人才；數量雖然不多，但對於使現代數學在中國土壤上生根，作出瞭寶貴貢獻。
中華人民共和國成立後，在人民政府的集中領導下，采用瞭蘇聯的教育制度，數學教育也經歷瞭巨大變革。經過1952年的院系調整，師范院校和綜合大學都設立瞭數學系，全國有瞭統一制訂的教學計劃和教學大綱，廣泛引進瞭蘇聯教材，各校必修課的設置及其內容規范化瞭，保證瞭一定水平。數學基礎課一般都設瞭習題課，對學生的幫助更為具體。師范院校的數學專業在基礎課的設置上，與綜合大學的數學專業相近，並增設教育學、心理學、數學教學法及教育實習等課和教學環節。綜合大學的數學專業一度在最後一年至一年半的時間裡分為若幹專門組，如代數、數論、幾何、拓撲、函數論、泛函分析、微分方程、概率論與數理統計等，學生能接觸到一些現代數學的前沿工作。後來專門組撤銷，課程更多樣化瞭。
從19世紀20年代後期起，浙江大學數學系就開始采用討論班的形式來培養學生獨立工作能力和從事科研工作能力；其他如西南聯合大學也曾采用過。到瞭50年代，結合專門組教學，這種作法得到進一步推廣，各主要大學數學系都逐步開展瞭科學研究工作，並招收瞭研究生。由於國內培養的數學人才不斷增加，教師隊伍逐漸改變瞭過去主要依靠歸國留學生的局面，由教育部組織編寫的以及個人編寫的教材也逐漸取代瞭外國教材，它們一般較結合本國實際。1957年以後，一些學校開展瞭應用數學方面的研究，增設瞭計算數學專業或專門組，開設瞭如運籌學等課程，概率統計等課程的開設更為普遍，培養瞭有關方面的人才。理、工等科系的學生，一般也學習一定份量的高等數學課程。
以上情況表明，中華人民共和國成立以後，數學教育在數量和質量上都發生瞭顯著變化，逐步發展提高。但也存在一些問題，如：必修課太重，不少課程要求過專過高，教學制度又過分要求劃一，未能因材施教，導致學生學習負擔過重，基礎不牢，加以對理論和實踐有時理解得不全面，工作中有搖擺，使數學教育的發展受到影響。盡管如此，這段時期的數學教育成就還是很大的。一般數學人才的培養已能立足於國內瞭。
從1966年開始的“文化大革命”，數學教育受到嚴重挫折。1977年後，經濟、政治、科學、教育各方面都先後提出瞭改革的方針和措施;實事求是精神的發揚，學校自主權的加強，教學制度的靈活，選修課的增加，使各校有條件分別發揚其優勢，形成自己的特色。由於明確提出瞭“大力發展應用研究，重視基礎研究”的方針，純粹數學和應用數學各得其所，長期存在的關於理論和實踐關系的認識分歧終於澄清。除瞭基礎數學、計算數學和應用數學專業外，綜合大學和師范院校還設瞭數理邏輯、控制理論、系統科學、信息科學、概率論與數理統計、運籌學、經濟數學等專業，許多工科院校也建立瞭應用數學專業。高等學校理、工、農、醫以至經濟、管理方面等科系的學生，都學習比過去更多的高等數學方面的課程。
中國高等學校是全國科學研究的一個重要的方面軍，數學研究也是這樣，特別是近十年來有瞭較全面的發展與提高，一些大學還設立瞭數學研究所。高級數學人才的培養也隨之逐漸能立足於國內，正式建立瞭學位制。數學方面已在基礎數學、計算數學、應用數學、概率論與數理統計、運籌學與控制論、數學教育與數學史等方面培養博士研究生。1983年在中國第一批18位接受本國博士學位的研究生中，獲得數學博士學位的就有12人。必須指出，中國科學院數學各方面研究所，在培育人才，包括培養研究生方面，也起瞭重要作用。1966年以前曾向少數國傢派遣瞭數學方面的留學生和進修教師，1978年起派出人員大量增加。還邀請瞭許多國外數學傢前來講學，中國數學傢出國講學和參加國際數學學術會議的就更多瞭。中外學術交流對中國數學事業的繁榮起著很好的作用。