Data sejarah tertulis mengenai Prembun di masa lalu masih belum dapat ditemukan hingga sekarang. Satu-satunya data sejarah yang dapat ditelusuri adalah arsip foto-foto lama yang menunjukan kondisi Prembun di masa kolonial. Menariknya lagi, foto-foto tadi tidak hanya diambil dari permukaan tanah saja tapitetapi juga dari diambil dari udara. Dari foto-foto tadi, dapat diketahui bahwa dahulu di Prembun ternyata pernah berdiri sebuah pabrik gula yang berukuran cukup besar. Pabrik gula ini pada catatan Belanda bernama Suiker Fabriek Remboen. Pabrik Gula Prembun merupakan satu-satunya pabrik gula milik Belanda yang pernah berdiri di Kebumen. Wajar saja jika dahulu di Prembun pernah berdiri pabrik gula karena lokasinya yang mudah diakses dan sudah dilalui oleh jalur kereta api. Belum diketahui dengan pasti kapan pabrik ini mulai berdiri dan ditutup. Walaupun bangunan pabrik gula Prembun sudah tidak ada lagi,namun bukti-bukti kejayaan pabrik gula Prembun di masa lalu masih dapat anda lihat hingga sekarang seperti keberadaan beberapa bekas rumah dinas untuk karyawan pabrik gula Prembun<ref>[http://jejakkolonial.blogspot.co.id/2015/12/prembunsepenggal-kolonial-di-ujung.html Prembun, Sepenggal Kolonial di Ujung Timur Kebumen]</ref>.