Menurut seorang cendekiawan Tibet dari CinaTiongkok, Profesor Jampal Gyathso, bahasa Baltistani sangat mirip dengan dialek Kham (bagian dari bahasa Tibet) ketimbang dengan dialek U dan Thsang yang merupakan bagian bahasa Tibet pula. Menurutnya, penduduk pertama Baltistan adalah orang Khamba. Wilayah ini dulunya pernah menjadi bagian dari kerajaan Tibet bersama wilayah Gilgit dari tahun 727 M dibawah pimpinan raja Khri-Ldegtsug-bRtan. Setelah kematian Glang-Darma, raja terakhir Tibet pada tahun 900 M, wilayah Baltistan dan Gilgit kemudian melepaskan diri dari Tibet, dan diperintah oleh raja-raja kecil hingga abad ke-12 M. Kemudian dinasti Maqpon yang didirikan pelarian asal Persia, Ibrahim Shah berkuasa di wilayah ini, dan dari situlah kemudian penduduk Baltistan dan sekitarnya perlahan-lahan mulai menganut Islam.
Wilayah ini secara bergantian dikuasai kerajaan Kashgar, Kashmir dan dinasti Dogra hingga sekarang ini menjadi bagian Pakistan.
