K.H. Ilyas menikah dengan Hj. Dedeh Fuadah, sang istri melukiskan kenangan pernikahannya bahwa hal yang mengharukan, selama menikah tidak pernah Ilyas memarahi istrinya. "Selama 50 tahun hidup bersama, Apih (sebutan Ayah) ini tidak pernah membentak, atau memaki saya. Apih sayang sekali kepada kita, sabar serta penuh perhatian kepada kami atau kepada anak-anak. Selalu menghargai sikap saya, juga mengayomi, " ujarnya <ref>http://www.gusmus.net/gusmus/page.php?mod=dinamis&sub=5&id=431</ref> dan memiliki tiga orang anak yaitu Acep Zamzam Noor, seorang sastrawan terkenal, Ida Nurhalida meraih master di UPI Bandung, dan si bungsu Enung Nursaidah Rahayu juga master pendidikan biologi.
