前身是中華人民共和國成立前的中央研究院工程研究所，1929年初成立於上海。抗日戰爭期間內遷昆明，勝利後遷回上海，改稱工學研究所。1949年後改稱工學實驗館。1953年又改稱冶金陶瓷研究所。1970年始改稱上海冶金研究所。50年代，該所以冶金過程物理化學和金屬物理為基礎學科，結合中國資源特點，主要從事複雜鐵礦冶煉研究，也進行瞭合金鋼、有色金屬提煉及合金的研究。50年代後期，結合國傢需要開展超純金屬、精密合金及輕金屬合金的研究。進入60年代中期，逐漸從傳統冶金金轉變到現代的微電子學、半導體和金屬材料科學及金屬腐蝕與防護三大科研方向。結合材料科學來研究微電子學與金屬腐蝕及防護是該所的一個特色。該所設有14個研究室和一個附屬工廠。
到1982年累計較重要的成果210項，已經使用和推廣用於生產的有176項。其中獲得國傢科學獎、發明獎、國防科委、中國科學院、中央各部及上海市獎勵的共93項。