Suswono adalah anak dari H. Asyraf, seorang petani dari keluarga petani [[Nahdlatul Ulama]] dan Hj. Suratni, seorang pedagang dari keluarga pedagang [[Muhammadiyah]].<ref name=is>{{Cite web|url=https://www.islamedia.id/2011/04/suswono-anak-petani-yang-jadi-menteri.html|title=Suswono, Anak Petani Yang Jadi Menteri Pertanian|accessdate=19 Agu 2024}}</ref> Suswono mempunyai enam adik: Suciati, Agus, Artati Budi, Arum, Arif, dan Iman Setiaji.{{fact}} Suswono mempunyai empat orang anak: Anna Mariam Fadhilah, Adilah Ihsani, Muhammad Usaid Gharizah, dan Sarah Nabilah dari pernikahannya dengan Mieke Wahyuni.<ref name=is/> Anna Mariam Fadhilah menjabat sebagai Anggota [[Dewan Perwakilan Rakyat Daerah Kota Bogor|Dewan Perwakilan Rakyat Daerah (DPRD) Kota Bogor]] periode 2019–2024 dari PKS.<ref>{{Cite web|url=https://wartakota.tribunnews.com/2022/12/10/profil-anna-mariam-fadhilah-anggota-dprd-kota-bogor-milenial-fokus-pendidikan-dan-kebijakan-publik|title=Profil Anna Mariam Fadhilah Anggota DPRD Kota Bogor Milenial, Fokus Pendidikan dan Kebijakan Publik|website=Wartakotalive.com|accessdate=19 Agu 2024}}</ref>
