Karim Oei meninggal dunia pada 14 Oktober 1988 di usia 83 tahun.<ref name="ab4">[{{cite web|url=http://kabar-toraja.com/humaniora/pendidikan/690-abdul-karim-oei-pengusaha-anti-rentenir-|work=Kabar Toraja.com] |title=Abdul Karim Oei Pengusaha Anti Rentenir. Diakses pada |access-date=9 Juli 2011|archiveurl=http://archive.fo/L4lmv|archivedate=29 Juni 2013}}</ref> Jenazahnya dimakamkan di pemakaman umum tanah kusir, berdekatan dengan Maemunah Mukhtar, istrinya yang wafat pada tahun 1984.<ref name="ab4"/> Dalam rangka mengenang Haji Karim Oei, beberapa tokoh organisasi kemasrayakatan, yaitu NU, Muhammadiyah, KAHMI, Al-Washliah, ICMI, dan beberapa tokoh muslim Tionghoa mendirikan sebuah Yayasan Haji Karim Oei, sebagai pusat informasi Islam khususnya bagi kalangan [[etnis Tionghoa]] pada tahun 1991.<ref name="ab3"/> Yayasan tersebut mendirikan dan mengelola Masjid Lau Tze yang terletak di daerah [[Pecinan Jakarta]].<ref name="ab3"/> Menerima Bintang Mahaputera Utama sesuai Keppres No.056/TK/TH. 2005, Tanggal 9-8-2005.
