Masjid ini pada awalnya dibangun pada tahun 1935 di kawasan pemukiman Muslim di Shanghai. Pada tahun 1984, masjid tersebut direnovasi anddan dibuka kembali pada tahun 1985. Masjid tersebut dibangun kembali di tempatnya saat ini pada tahun 1995.<ref name="detiktravel">{{cite web|url=http://malay.cri.cn/381/2011/10/27/122s125339.htm|date=27 Oktober 2011|title=Masjid Pudong, Shanghai|publisher=CRI Online|accessdate=20 September 2018|language=ms}}</ref>
