Nasib baik Yahya memang tak bisa dilepaskan dari campur tangan Akbar, seniornya di HMI. Tapi, pada Musyawarah Nasional Golkar 2004, Yahya mengambil peranan dalam menggagalkan ambisi Akbar mempertahankan kursi ketua umum. Ia berpihak ke kubu lawan, [[Wakil Presiden Indonesia|Wakil Presiden]] [[Jusuf Kalla]] dan [[Ketua DPR|Ketua DPR-RI]] [[Agung Laksono]]. Kerja kerasnya mengegolkan Kalla berbuah jabatan baru di Golkar sebagai koordinator bidang agama dan [[Partai Golkar|Sekretaris Fraksi Partai Golkar]] di [[Dewan Perwakilan Rakyat]]. Zaini menjabat sebagai Sekretaris Fraksi Partai Golkar dan merupakan anggota Komisi II di DPR. Ia juga pernah terlibat dalam Pansus RUU Partai Politik sebagai ketua.
== Skandal seks ==
Yahya menikah dengan Ir. Sharmila dan memiliki tiga orang anak. Pada akhir November 2006 beredar video hubungan mesum antara Zaini dengan seorang [[Dangdut|penyanyi dangdut]] bernama [[Maria Eva]]. Seiring beredarnya video mesum tersebut, karier politik yang dirintisnya dengan penuh perjuangan seperti meredup. Bahkan, karier politiknya cenderung merosot setelah beredarnya rekaman video mesum lewat telepon seluler dan surat elektronik. Bahkan, stasiun televisi swasta sudah menayangkan 42 detik adegan ranjang dirinya dan pasangannya yang direkam pada 2004. Ia menghindari pers sejak pulang dari kunjungan dinas ke [[Australia]] pada [[1 Desember]] [[2006]].
Menurut pengakuan Maria Eva, hubungan tersebut dilakukan tanpa [[pernikahan]] dan ia sempat mengandung janin [[bayi]] hasil hubungan tersebut, yang kemudian digugurkan.<ref>[http://www.detiknews.com/index.php/detik.read/tahun/2006/bulan/12/tgl/04/time/1639-55/idnews/715973/idkanal/10 berita terkait di detik.com]</ref>
Setelah menjadi bulan-bulanan pers, ia memutuskan mundur dari jabatan kepartaian. Ia mengundurkan diri sebagai Ketua Dewan Pimpinan Pusat Partai Golkar Bidang Kerohanian. Surat pengunduran diri tertanggal [[4 Desember]] [[2006]] diterima Wakil Ketua Umum Partai Golkar [[Agung Laksono]].
