IaDe Graaf menikah pada tahun 1929 dengan Carolina Johanna Mekkink (lahir 1923).{{Sfn|Ricklefs|1985}} Mereka mempunyai empat anak: Hendrik (lahir 1931), Johannes (lahir 1933), Elisabeth Anna (lahir 1935), dan Anna Elisabeth (lahir 1948).{{Sfn|Ricklefs|1985}} Elisabeth Anna meninggal pada tahun 1944 di kamp tahanan perang Jepang di daerah [[Muntilan, Magelang|Muntilan]] pada Perang Dunia II pemakaman kamp.{{Sfn|Ricklefs|1985}} Dalam obituarinya, [[Merle Calvin Ricklefs|Ricklefs]] menyebutkan bahwa de Graaf merupakan seorang Protestan yang taat, akan tetapi juga agak diasingkan dari lingkaran akademis di Belanda pasca-[[Perang Dunia II]] karena pandangan politiknya yang konservatif serta sifat individualistisnya.{{Sfn|Ricklefs|1985}}
