Sebelum gedung Perpustakaan Nasional RI yang terletak di Jalan Salemba No. 27, Jakarta Pusat didirikan, koleksi Museum Gajah juga meliputi naskah-naskah manuskrip kuno. Naskah-naskah tersebut dan koleksi perpustakaan Museum Gajah lainnya kini disimpan di Perpustakaan Nasional.
Sumber koleksi banyak berasal dari penggalian arkeologis, hibah kolektor sejak masa Hindia Belanda dan pembelian. Koleksi keramik dan koleksi etnografi Indonesia di museum ini cukup lengkap.
Koleksi yang menarik adalah patung Bhairawa. Patung yang tertinggi di Museum Nasional ini (414 cm) merupakan manifestasi dari Dewa Lokeswara atau Awalokiteswara, yang merupakan perwujudan Boddhisatwa (pancaran Buddha) di Bumi. Patung ini berupa laki-laki berdiri di atas mayat dan deretan tengkorak serta memegang cangkir terbuat dari tengkorak di tangan kiri dan keris pendek dengan gaya Arab di tangan kanannya. Diperkirakan, patung yang ditemukan di Padang Roco, Sumatera Barat ini berasal dari abad ke 13 - 14.
Koleksi arca Buddha tertua di museum ini berupa arca Buddha Dipangkara yang terbuat dari perunggu disimpan dalam Ruang Perunggu dalam kotak kaca tersendiri. Sementara itu, arca Hindu tertua di Nusantara, yaitu Wisnu Cibuaya (sekitar abad ke-4 M) terletak di Ruang Arca Batu. Sayangnya, koleksi ini dipajang tanpa teks label dan terhalang oleh arca Ganesha dari Candi Banon.
