Pada tahun 1984, Fahmi bergabung dengan [[Partai Golkar]]. Ia langsung ikut berkampanye bersama [[Ali Moertopo]] dan [[Abdul Latief (pengusaha)|Abdul Latief]] di [[SumatraSumatera Barat]]. Pada tahun 1998-2004, ia menjabat sebagai Ketua DPP Golkar di [[Jakarta]]. Ia kemudian dilantik sebagai Menteri Tenaga Kerja dan Transmigrasi dalam tahun yang sama. Pada tahun 2004, ia sempat dipecat dari keanggotaan Golkar, karena menentang hasil Rapat Pimpinan Partai yang mendukung [[Megawati]]-[[Hasyim Muzadi]] sebagai calon presiden dan wakil presiden.<ref>{{Cite news |url=https://nasional.tempo.co/read/48267/fahmi-idris-cs-resmi-dipecat |title=Fahmi Idris Cs Resmi Dipecat |date=20 September 2004 |work=[[Tempo.co]] |access-date=2022-05-22 |archive-date=2022-06-13 |archive-url=https://web.archive.org/web/20220613083240/https://nasional.tempo.co/read/48267/fahmi-idris-cs-resmi-dipecat |dead-url=no }}</ref> Ketika itu, Fahmi mendukung pasangan [[Susilo Bambang Yudhoyono]]-[[Jusuf Kalla]]. Setelah pasangan ini terpilih, Fahmi kembali ditunjuk sebagai Menteri Tenaga Kerja, sebelum akhirnya di kocok ulang menjadi Menteri Perindustrian. Namanya direhabilitasi, dan ketua umum Jusuf Kalla menariknya kembali masuk partai. Selain duduk di berbagai macam jabatan profesi dan bisnis, kini ia juga menjabat sebagai Anggota Dewan Penasehat Partai Golkar.
