Margono lahir pada 16 Mei 1894 di Purwokerto (Banyumas). Ayahnya adalah berasal dari kelompok priyayi yang menjadi pegawai pemerintah kolonial Belanda. Keluarga dia merupakan keturunan bangsawan yang pernah berperang melawan Belanda selama Perang Jawa.<ref name="tokoh">{{cite book|date=1993|url=https://www.google.co.id/books/edition/Tokoh_tokoh_Badan_Penyelidik_Usaha_Usaha/_f35qieC4Z8C|title=Tokoh-tokoh Badan Penyelidik Usaha-Usaha Persiapan Kemerdekaan Indonesia|publisher=Departemen Pendidikan dan Kebudayaan, Direktorat Sejarah dan Nilai Tradisional, Proyek Inventarisasi dan Dokumentasi Sejarah Nasional|pages=75–77|language=id}}</ref> Margono menggambarkan keluarganya sebagai bangsawan "miskin". Dia sebenanya anak keenam, tetapi semua kakaknya meninggal saat masih kecil.<ref name="purdey">{{cite journal|last1=Purdey|first1=Jemma|date=September 2016|title=Narratives to power: The case of the Djojohadikusumo family dynasty over four generations|journal=South East Asia Research|volume=24|issue=3|pages=369–385|doi=10.1177/0967828X16659728|s2cid=151698429}}</ref> Menurut Margono, dia tidak pernah mengunjungi makam leluhurnya karena yang tidak mau mengakui keturunannya yang bekerja untuk Belanda. Ia mulai belajar di Europeesche Lagere School (sekolah dasar kolonial) pada tahun 1901, dan setelah lulus pada tahun 1907 ia melanjutkan pendidikannya di Opleiding School Voor Inlandsche Ambtenaren (OSVIA; sekolah pegawai negeri) di Magelang hingga tahun 1911.<ref name="tokoh" />
