Yosfiah pernah menjadi [[Kepala Staf Teritorial Tentara Nasional Indonesia|Ketua Fraksi ABRI]] di [[MPR]] pada 1997. Ia pensiun dari [[TNI]] pada tahun 1999.<ref>The Jakarta Post [http://www.thejakartapost.com/news/1999/06/02/593-senior-officers-opt-leave-military.html 593 senior officers opt to leave military. June 02, 1999] {{Webarchive|url=https://web.archive.org/web/20140812211545/http://www.thejakartapost.com/news/1999/06/02/593-senior-officers-opt-leave-military.html |date=2014-08-12 }}</ref> Pada 2002 Yosfiah menjadi anggota [[Partai Persatuan Pembangunan]] (PPP).<ref>[http://news.liputan6.com/read/24649/belasan-perwira-tni-bergabung-ke-ppp Belasan Perwira TNI Bergabung ke PPP]</ref> Yosfiah juga adalah Sekretaris Jenderal PPP dari bulan Desember 2003 hingga tahun 2007.<ref name=Yosfiah /> Pada bulan Februari 2007 Yosfiah ikut dalam pemilihan Ketua Umum PPP, tetapi ia gagal.<ref>The Jakarta Post [https://web.archive.org/web/20070929110447/http://www.thejakartapost.com/yesterdaydetail.asp?fileid=20070204.A01 Minister Suryadharma elected PPP chairman. February 07, 2007]</ref> Ia pernah menjadi anggota [[DPR]] untuk periode 2004–2009 dari PPP mewakili dapil Sulawesi Selatan II<ref>{{Cite web|url=http://www.pemilu.asia/?lang=ind&c=54&opt=3&s=103&y=2004&id=33420|title=H.M. Yunus Yosfiah - Sulsel II|access-date=22 Februari 2021|website=pemilu.asia}}</ref> dan duduk di [[Komisi XI Dewan Perwakilan Rakyat Republik Indonesia|Komisi XI]].
