Sudi lahir dari ayah yang beretnis [[Suku Batak|Batak]] dan ibu yang berasal dari [[Suku Jawa|Jawa]]. Ayahnya, Abdul Azis Silalahi adalah seorang kepala desa di [[Tanah Jawa, Simalungun]].<ref>[https://www.antaranews.com/berita/2484697/asro-kamal-rokan-kenang-kepribadian-sosok-letjen-purn-sudi-silalahi Asro Kamal Rokan Kenang Kepribadian Sosok Letjen Purn Sudi Silalahi]</ref> Sedangkan ibunya dari kelurgakeluarga migran yang bekerja di perkebunan Deli pada masa Hindia-Belanda.<ref>{{Cite web |url=https://www.disway.id/r/3012/sudi-jawa |title=Sudi Jawa |access-date=2021-10-31 |archive-date=2021-10-31 |archive-url=https://web.archive.org/web/20211031084945/https://www.disway.id/r/3012/sudi-jawa |dead-url=yes }}</ref> Sudi lulus dari Akabri pada tahun 1972. Dia sempat menjadi Pangdam Brawijaya dan mengakhiri karier militernya dengan pangkat [[Letnan Jenderal]]. Ketika [[Susilo Bambang Yudhoyono]] menjabat sebagai Menko Polkam di bawah pemerintahan [[Megawati Soekarnoputri]], ia ditunjuk sebagai sekretarisnya. Lalu pada tahun 2004 disaat Susilo Bambang Yudhoyono menjadi presiden, ia kembali diangkat sebagai Sekretaris Kabinet. Pada periode kedua pemerintahan Susilo Bambang Yudhoyono, ia menjadi Menteri Sekretaris Negara.
